CC视频CTO侯明强DevOps的实践与挑战万芳

发布时间：2020-02-14 11:55:08 阅读：次来源：传感器厂家

CC视频CTO侯明强：DevOps的实践与挑战-CSDN.NET

研发收到系统报警，定位问题、解决问题。

运维和研发相互给予系统环境级技术支持，双方在解决完成后沟通解决方案，以及问题原因。

我们有一个视频的缓存模块进行一个算法更新，缓存的命中率是很重要的因素，之前命中率不是特别高，我们自己开发了一个新的缓存模块进行算法更新。

我们线上有几百台服务器，我们要看算法是不是比之前要好，所以必须要做AB测试，要进行对比。同时把算法测验在生产环境下运行没有问题的时候，它还需要部署，慢慢的把所有的服务器都升级成最新的应用。

我们的工作就是由研发来操刀进行。这个如果让运维主动去做的话，这个其实挺困难的，中间要关注非常多的数据，同时部署过程中发现各种各样问题，从各种地方收集，会关注特别多的点，如果让运维去操作这是很困难的。所以我们这个过程就是研发来主导，运维来协助配合的。

从10%发现没有问题的时候，上升到50%运转非常良好的时候，后面自动的脚本就拿出来，让运维批量的去实施。

线上故障或异常

CC视频有异常统计系统，我们会把每天系统里出现的异常信息统计出来，看看是什么样的问题，如果统计出信息比较多的话会报警。

有一次我们发现一个异常。我们知道自己的接口可能是没有问题的，结果检查了，就发现原来有一个客户他请求的时候参数给错了，这种情况下我们就通知客户进行修改，那个客户后来发现他调用我们API的时候调走了，修过了就好了。

假如运维如果他不负责系统的日志处理，他只干服务器或者网络的信息，他是查不到的。

从外表上看也看不到，因为我们整个系统都是正常的，只有到我们客户的具体调用方的视角才能看到有一些什么样的异常存在。如果他的程序写得不够好，外表也看不出来。

总结

用最短路径对线上问题进行快速响应。我们的核心思路就是想尽量用最短的路径，对在线的业务出现的技术问题进行更快速的响应。

从业务本身出发进行的技术优化。进行技术优化的目标，还是围绕着业务去做。

提前开发工具，减少临时处理。碰上临时处理的事情救火的话是很痛苦的，如果开发团队和运维团队老是处在救火的状态的话，持续不了多久，肯定有人就要考虑离职。