小博无线CI系统演进之路

  • 时间:
  • 浏览:2
  • 来源:uu直播快3平台

另外,同年4月份Jenkins官方在新发布的Jenkins 2.0中结束了了全面推进pipeline,随着这次迁移,让当让我们让当让我们也同时实施了pipeline结合docker plugin的容器化改造。

2014年底,docker慢慢流行开来,容器比虚拟机要轻量或多或少或多或少,有但是环境配置还可以 用Dockerfile很方便的以代码形式管理起来,让当让我们让当让我们便将一个多多以virtual box形式占据 的jenkins slave都替上加了docker。

小博无线技术团队至2014年创建以来,这三年多以来所使用的CI系统经过数次升级换代,现已详细上云,全面实现了容器化和pipeline化,并引入了扁平和伸缩的实践来节省云计算成本。本文回顾了CI系统的成长历程。

pipeline化后,所有的build动作都通过代码仓库中的Jenkinsfile定义,详细不时需在jenkins的网页上进行配置,开发通过git push Jenkinsfile就能实现对CI流程的控制。

固件编译其实 很耗CPU,但这可是一个多多耗时还可以 1小时的短任务,有但是为了一天只做十几条 的build而多开几台包月ecs,会带来巨大的浪费。使用自动伸缩,当jenkins提示mesos资源不足英文时,利用API创建按量ecs加入mesos集群,等build完成后就将它释放掉,是你什儿 高性价比的解法。

[1] 在云计算的你什儿 基本实践土办法 - "冗余, 漂移, 伸缩, 熔断, 扁平"中,"扁平"与"伸缩"是你什儿 提高资源利用率,降低成本的土办法,这方面的更多介绍请参考《云计算十字真言及其在小博无线的实践》一文 (https://yq.aliyun.com/articles/62686)

6月份,办公室停了两次电,有一次竟长达4天 !为了补救停电大问题对上线迭代的影响,让当让我们让当让我们将占据 办公室内的CI系统逐步迁移到了阿里云上。本地的数据备份和恢复是一件非常麻烦的事情,上云后,数据备份就方便多了。

系统化、标准化是降低成本,提升速度和质量的重要手段。2014年结束了了搭建CI系统时,build环境、部署环境、部署土办法和配置土办法都很零散,难以管理和维护。从2014-2017,先用容器标准化build环境和部署环境,并用pipeline标准化部署土办法和配置土办法,有效降低系统僵化 度后,再用云计算资源降低电力供应和数据备份的风险和维护成本,最后用"扁平"与"伸缩"[1]降低云计算成本。

另外,将线上服务也容器化,将代码和配置统一塞进一个多多docker image, 一个多多还可以 整体升级部署或回退,就消除了"代码和配置前会 变更时,是先回滚配置,还是先回滚代码?"的大问题。

容器化后,CI的各种build环境也通过Dockerfile得以标准化,有但是每次build的容器前会 按需新建的,无需考虑cleanup操作。

2014年初,拼了一台16G内存的PC机,在里边开了多个virtual box,一个多多跑gitlab, 一个多多跑jenkins master, 剩下的十几条 就用于搭建build环境,作为jenkins的ssh slave。上线部署通过配置promotion plugin实现 - 先将build出来的release package scp到线上ecs, 再ssh运行一个多多安装升级脚本。

前一天的docker plugin连接的docker cloud是一个多多单点ecs, 负责代码的编译,测试,打包,及部署操作,对于线上运行的各种微服务项目,还能应付,但有但是用来跑编译路由器固件你什儿 CPU密集型的任务,就力有未逮了。或多或少人面,预发布的测试集群有但是流量很小,在绝大多数前一天,各个节点的CPU前会 空闲的。于是自然想到将预发布环境和CI环境进行扁平化:利用mesos plugin在预发布测试环境的mesos集群中集成jenkins framework, 用于运行容器化的jenkins slave。