万人协同规模下的代码管理架构演进

资讯频道 → 企业架构

0顶
0踩

2017-03-15 14:25 by 副主编 jihong10102006 评论(0) 有6850人浏览

代码管理架构百度

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用

作者：廖超超，百度代码开发协作平台架构师，加入百度之前曾就职于阿里巴巴。在高可用架构和分布式系统设计方面有一定经验，关注互联网大规模协同开发、持续集成和持续交付等业界优秀实践。
责编：钱曙光，关注架构和算法领域，寻求报道或者投稿请发邮件qianshg@csdn.net，另有「CSDN 高级架构师群」，内有诸多知名互联网公司的大牛架构师，欢迎架构师加微信qianshuguangarch申请入群，备注姓名+公司+职位。
本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》

互联网研发，唯快不破。为了提升公司整体研发效率，百度引入了业界的优秀工程实践，设计开发了一整套研发工具链。主要包括项目管理平台、代码开发协作平台和持续交付平台，分别针对需求、开发和交付场景，提供工具、流程和数据支持，如图1所示。

图1 百度研发工具链

代码管理的目标场景就是开发场景，是研发活动的核心环节，承载着打通需求、交付上下游的作用。百度代码管理建设分别从文化传播、工程实践和产品建设三个方面入手推进公司代码管理水平的不断提升。为此，我们推出了代码管理建设的五级金字塔模型，如图2所示，分别代表了代码管理建设的不同能力水平。

图2 百度代码管理概况

最底层是代码托管，这是代码管理最基础的能力。
第二层是协同开发，就是支持各个业务线在不同的研发模式下进行快而有序地协作开发。百度的产品、业务线众多，不同的团队规模、不同的开发语言、不同的研发模式都给开发协同提出了不同的需求。
第三层是DevOps支持，实现产品全生命周期的工具全链路打通与自动化。
第四层通过研发数据度量体系的建设，给公司提供研发数据参考，促进研发流程的改进。
第五层工程师文化建设，在公司内部推行代码评审、内部开源、社交化编程等工程师文化。

百度代码管理的挑战
百度拥有万人开发团队，近十万项目，每周代码自动检出的问题超二十万，每天发起评审超1万次。为了保证代码质量，我们要求代码提交前和提交后都进行自动化检查。为了加速编译和集成，我们有大规模的分布式编译系统和持续集成系统。百度C/C++语言是源码依赖，编译系统需要检出所有的依赖代码，这样代码库的访问压力呈指数级增长。这些都是百度代码管理面临的挑战，总结起来就是这三点：代码质量、规模协同和安全稳定的服务，如图3所示。

图3 百度代码管理遇到的挑战

面对这三大挑战，代码开发协作平台重点解决代码管理五个方面的问题：代码托管、协同开发、代码质量、代码安全与开放、研发改进。
1. 代码托管
代码托管是研发的基础设施。代码托管需要保证服务的安全、稳定和可靠，同时保证在大规模协同场景下的高性能。
2. 代码质量
基于代码入库流程，提供简单易用的代码评审，并且在评审环节支持代码扫描、编码规范、安全扫描等自动化检查，同时支持打通持续集成进行自动化测试，从而保证代码入库前就得到充分的质量检验。
3. 代码安全与开放
代码安全要求对访问控制权限做严格的限制，需要支持安全扫描和安全审计等；代码开放鼓励代码共享、开源，从而实现代码复用。
4. 协同开发
支持主流的Workflow以满足各业务线不同的研发模式的需求，如：传统的分支开发、主干开发、特性分支、git flow等工作流。
5. 研发改进
研发管理需要有数据支撑，用数据度量一切，不断地优化研发流程，促进高效协同，提升研发效率。

百度代码管理架构演进的历程
代码开发协作平台经历了这四个阶段的演进。面对不同阶段的不同问题，我们所采用的方案也不同，如图4所示。

图4 百度代码管理架构演进的历程

产品初创时期
为了快速验证产品，我们采用了精益的思路快速实现了MVP。在代码库服务设计上，暂时不考虑容量和性能的问题，采用了Master-Slave这种单实例结构，如图5所示。

图5 产品初创时期——架构

在这种架构下，我们主要从两个方面保证服务的安全可靠。

存储上做了RAID，同时使用DRBD实时备份数据，保证数据可靠性。我们采用的是DRBD的同步复制协议，也就是说master的数据都会实时同步到slave上。
为了保证服务的高可用，使用KeepAlived，确保在master故障时能够快速切换到slave，实现自动failover。

产品发展时期
随着平台的快速发展，代码库的并发和容量都在急剧增长。我们首先采用大内存、SSD硬盘来提升硬件性能。然后进行I/O、网络、缓存等优化。经过反复的性能测试得到了单机的最优配置。

在扩容方案上我们主要考虑了两种方案：分布式存储和数据分片。

分布式存储

数据分片

我们经过性能测试和MVP验证后，最终选择了数据分片的方案。主要的原因就是代码服务是高I/O的服务，分布式存储的I/O性能较本地存储差距比较明显，尤其写的性能更是下降了一个数量级。

图6 产品发展时期——架构

图6所示的这版架构的主要改变是git服务分实例部署。根据Repositories进行分片，将不同的Repositories分配到不同的实例。数据库服务采用主备的方式独立部署，同时支持了数据库访问的读写分离。

用户请求首先经过proxy，调用统一的路由服务将请求转发到对应实例。认证服务独立部署，proxy集成认证模块，加强了用户身份认证。

路由服务是核心服务。为了降低业务系统的改造成本，设计了统一的路由服务和路由模块，通过切面的方式拦截所有对代码库的访问请求，从而实现对业务代码的较低侵入和对调用方的透明。在路由设计上，因为首先使用了去中心化的微服务架构，所以采用客户端路由的方式。同时，增加了本地缓存，即使路由服务宕机，路由依然可以正常运行，如图7所示。

图7 产品发展时期——路由设计

产品成熟时期
由于编译、自动化测试、持续集成等需求出现了爆发式的增长，代码库每日读的请求超过30万次，每日写的请求超2万次。高峰时段，TPS将近1000，千兆网卡全部被打满。经过对吞吐量的需求的评估，我们预计TPS将突破10000。为了保证性能，高峰时段下载代码的速率，自动化系统应该在30MB/s以上，开发人员必须在5MB/s以上。因此，吞吐量不足的问题已经成为最核心的问题。我们的改进方案如下：

增加带宽，千兆网卡换成万兆网卡。
增加机器。通过拆分更小的实例来分摊带宽压力。增加每组实例的只读节点，因为我们的场景是读远大于写的，吞吐量的压力大多来自读请求。同时将闲置的冷备节点升级成只读节点。

图8 产品成熟期——架构

图8是读写分离的架构图，通过proxy判断读写请求，将写请求发给master节点，读请求通过负载均衡模块分别发给实例的所有节点。在这版架构升级的过程中，我们还是采用DRBD+KeepAlived实现容灾备份方案。读写分离大大提高了系统吞吐量，但是DRBD冷备机器闲置，严重浪费资源。所以，我们做了进一步的改进。

图9 产品成熟期——架构优化

图9是改进后的架构图，我们废弃了DRBD备份，并且实现自己的高可用方案。我们的方案主要分为两个阶段：

master节点的失效判定。某个proxy节点的心跳检测捕获master节点异常后，发起投票，如果过半数的proxy节点都判断master节点异常，就判定master失效。
slave节点提升。再进行一轮投票，将这组git实例中一个slave节点提升为master节点。投票完成之后，将新的实例信息写入路由服务，路由服务通知所有调用方路由变更，及时更新本地路由缓存。

代码开发协作平台的整体架构

图10 百度代码开发协作平台架构

百度代码开发协作平台整体上采用微服务架构，基于自主研发的微服务框架构建各个业务服务单元，独立开发、发布、部署和运行。整体的架构如图10所示。
1. 接入服务
Httpd Proxy主要用于Web访问，Sshd Proxy用于Git命令行操作，API Gateway用于统一提供开放API，便于API的安全授权、管理。
在接入服务之上采用百度统一前端接入服务构建高可用负载均衡器，一方面提高系统的并发访问能力，另一方面提高系统的防攻击能力，保证平台的安全性。
2. 访问控制
平台构建统一的安全策略和用户认证体系，确保系统安全。
3. 服务中心
服务中心是服务治理的核心，提供服务注册/发现、服务路由、服务配置、服务降级、服务熔断、流量控制等功能，保证平台整体的服务稳定性。通过服务路由、配置管理中心、服务注册/发现等机制来统一管理服务，另外提供统一的管理控制台管理应用服务集群、Git集群和基础服务集群等。
4. 开放服务
平台同时支持Webhook和Plugin两种开放能力的方案，支持第三方系统方便集成。Webhook主要的应用场景是当开发人员提交代码变更后，自动触发持续集成构建。Plugin主要应用在代码评审环节的自动代码检查。
5. 业务服务
业务服务通过微服务架构组织服务单元，每一个业务服务都会注册到服务中心，在调用其他业务服务时也是通过服务中心的服务发现机制去获取某一特定服务的具体提供实例列表，通过客户端路由方式来决定具体调用哪个服务提供者，从而既保证服务可靠性，又能提高系统吞吐量。平台提供代码管理、代码浏览、代码评审、代码搜索、代码扫描等业务组件。
6. Git集群
Git集群是平台的最核心、最基础的部分。为了保证Git集群的安全、高可用和高性能，平台提供了如下能力：
6-1. 同时支持数据的软实时和硬实时备份能力。
6-2. 提供三重备份，每一份代码至少有三份拷贝。
6-3. 提供根据不同的分片策略对数据分片的能力，支持Git集群动态扩容。
6-4. 提供读写分离的能力，支持一主多备。
6-5. 提供HA方案，支持自动failover。
7. 基础服务
平台依赖数据库、索引、缓存、用户管理、通知、存储等多个基础服务。这些基础服务在保障自身可用性的同时，提高了平台整体可靠性。

企业级SaaS服务下代码管理架构实践
经过一系列的架构改进，代码开发协作平台的容量、性能、可靠性都已经得到提升和验证。随着百度效率云产品对外服务，代码管理在其他方面遇到了更大的挑战。

安全性，代码是企业核心资产，只有确保企业代码不泄漏、不丢失才能赢得企业的信任。
容量和性能的要求更高，对外服务以后会有更多的用户，更多的用户就意味着更多的Repositories和更高的并发需要平台支撑。
弹性伸缩的需求，因为企业不同发展阶段，对代码库容量和性能的需求是不同的，那就需要实现弹性伸缩以满足企业对资源的变化需求。
自动化运维主要考虑两个方面，能够支持企业快速接入，可以方便大规模集群管理。

结合以上所述企业级SaaS对代码管理的要求，我们提出了企业专属云方案，如图11所示。

图11 专属云

我们主要从三个方面实现企业专属云：

接入层，通过统一的代理服务，集成安全认证模块，支持企业账号接入实现企业请求隔离。
应用层，采用共享服务的方式，通过统一的访问控制层实现企业隔离。
对于企业的核心资产（如：代码库、产品库等）我们在资源层做隔离，不同的企业服务运行在不同的资源上，实现真正地物理隔离。

围绕着企业专属云方案，我们在架构设计上加强了多租户的管理、资源的管理，如图12所示。

图12 企业级SaaS服务下代码管理架构

在多租户管理方面，在统一的访问控制层增加了租户认证，所有请求都需要带上租户信息才可以通过认证。

在资源管理方面，同时支持Docker资源和虚拟机资源。企业接入时，Admin系统将自动从统一的资源池申请资源，通过Docker的方式完成自动化部署。我们同时支持混部和独立部署的方式，混部就是在同一个资源上部署多个企业的代码库实例。对于对代码安全有更高隔离要求的客户，我们将他们的服务独立部署在一台虚拟机上。

总结
百度代码开发协作平台使用微服务架构构建业务服务，一方面整合了现有的业务系统，另一方面提高了系统的稳定性和性能。使用数据分片和读写分离相结合的方式解决了代码库服务容量和性能的问题。使用专属云方案处理多租户的问题，帮助企业客户快速接入，实现资源隔离。但是，我们还有很多不足的地方有待提高和完善。比如，目前我们考虑到性能和开发成本的问题，选择了数据分片来扩容。但是，随着代码库容量的不断提升，数据分片带来的架构复杂、运维成本、性能瓶颈等问题也开始显现出来。读写分离和主备切换的方案，在高并发读的场景下工作尚可，但是面对高并发写的场景性能和可靠性就难以满足。

架构设计是和业务需求紧密相关的，只有合适的架构才是好的架构，因此，产品发展的不同阶段需要选择不同的技术架构方案。同时，一种可演进的架构是应对业务需求发展和变化的较优选择。

引用

SDCC 2017•上海站将于2017年3月17-19日登陆申城，三大技术峰会和24位嘉宾，汇聚国内知名的互联网公司CTO、架构师、技术总监，畅谈运维、数据库和架构的热门话题和技术热点，遇见精益运维发起人&优维科技CEO王津银、MongoDB大中华区首席架构师唐建法等大牛，五人团购报名立减1500元，详情点击注册参会

查看图片附件

分享到：

0
顶

0
踩

评论共 0 条请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

百度万人协同规模下的代码管理架构演进

百度万人协同规模下的代码管理架构演进互联网研发，唯快不破。为了提升公司整体研发效率，百度引入了业界的优秀工程实践，设计开发了一整套研发工具链。主要包括项目管理平台、代码开发协作平台和持续交付平台，...

感悟：百度万人协同规模下的代码管理架构演进

百度代码管理的挑战百度拥有万人开发团队，近十万项目，每周代码自动检出的问题超二十万，每天发起评审超1万次。为了保证代码质量，我们...这些都是百度代码管理面临的挑战，总结起来就是这三点：代码质量、规模...

《百度万人协同规模下的代码管理架构演进》阅读有感

《百度万人协同规模下的代码管理架构演进》阅读有感互联网研发，唯快不破。为了提升公司整体研发效率，百度引入了业界的优秀工程实践，设计开发了一整套研发工具链。主要包括项目管理平台、代码开发协作平台和持续...

《百度万人协同规模下的代码管理架构演进》读后感

《百度万人协同规模下的代码管理架构演进》读后感《百度万人协同规模下的代码管理架构演进》主要讲解了百度代码管理架构演进的历程，对不同阶段的不同问题，采用的不同方案进行了详细的讲解。 1、产品初创时期 ...

各大互联网公司架构演进之路汇总

所以，但凡上一点规模的技术会议，不可缺少的一个关键话题就是各大互联网公司的工程师来分享"技术架构演进之路"。蚂蚁金服支付宝和蚂蚁花呗的技术架构及实践余额宝技术架构及演进胡喜：蚂蚁金服十五年技术...

游戏服务器的架构演进、多进程架构通信

二、游戏服务器架构要素三、服务器演化进程 1.卡牌等休闲游戏弱交互游戏 2.长链接游戏服务器 1.第一代网游服务器（单线程无阻塞） 2.第二代网游服务器（分区分服） 3.第三代网游服务器 3.房间服务器（游戏大厅）四...

各大互联网公司架构演进之路汇总 | 2020最新最全

百度万人协同规模下的代码管理架构演进专访吕毅：链家网技术架构的演进之路娱乐 Flink在快手的应用实践与技术演进之路首次揭秘！字节跳动基础架构技术迭代演进之路 4亿用户的LinkedIn数据产品设计原则和架构实现 ...

字节跳动 5 万人远程办公的背后，飞书的演进之路

封图、作者 | 唐小引出品 | CSDN（ID：CSDNnews）2005 年，22 岁的张一鸣刚刚毕业，便拉起团队，开发了一款面向企业的 IAM 协同办公系统。尽管这次初创业已然失利，但这股协同办公之火却未曾熄灭。在张一鸣的职业...

Flutter 沙龙回顾 | 闲鱼 Flutter 架构演进和实践

11 月 23 日，字节跳动技术沙龙 | Flutter 技术专场在北京后山艺术空间圆满结束。我们邀请到字节跳动移动平台部 Flutter 架构师袁辉辉，Google Flutter ...

wdaaaaaaaaaafwawfw

scratch少儿编程逻辑思维游戏源码-十字鸭子.zip

Android移动应用开发_ViewFlow自定义控件CircleFlowIndicator指示器网络图片加载缓存自动循环滚动手势滑动交互_横向循环平滑滚动广告条Banne.zip

Android移动应用开发_ViewFlow自定义控件CircleFlowIndicator指示器网络图片加载缓存自动循环滚动手势滑动交互_横向循环平滑滚动广告条Banne

前端开发_基于jQuery和EasyUI框架_企业级Web应用UI组件库与后台管理系统模板_提供GPL开源版本和商业授权版本的双重授权模式_适用于快速构建响应式管理后台和复杂数据可.zip

前端开发_基于jQuery和EasyUI框架_企业级Web应用UI组件库与后台管理系统模板_提供GPL开源版本和商业授权版本的双重授权模式_适用于快速构建响应式管理后台和复杂数据可

C++编程实例100篇.zip

《C++编程实例100篇》是一本深入实践、极具价值的编程教程，它针对C++编程语言提供了丰富的实例，旨在帮助读者更好地理解和掌握C++的各项特性与编程技巧。这本书的经典之处在于它将理论与实践相结合，通过100个精心设计的编程实例，覆盖了C++的各个核心领域，包括基础语法、面向对象编程、模板、异常处理、STL（标准模板库）等。我们来探讨C++的基础语法。C++是C语言的增强版，它保留了C语言的高效性和灵活性，并引入了类、对象和继承等面向对象编程概念。基础语法包括变量声明、数据类型、运算符、控制结构（如if语句、for循环、while循环）、函数的定义和调用等。在实例中，你可能会遇到如何编写简单的程序，如计算两个数的和，或者实现一个简单的猜数字游戏。 C++的面向对象编程是其一大特色。通过类和对象，你可以构建复杂的软件系统。类是对象的蓝图，它定义了对象的属性和行为。实例化一个类，就是创建一个具体的对象。继承允许你创建新的类，这些类从现有的类派生，共享其属性和方法，同时可以添加新的功能。多态性是面向对象的另一个关键特性，它使得不同类型的对象可以对同一消息作出不同的响应。这些概念在实例中会以各种形式展现，例如设计一个图形界面的类层次，或实现一个简单的模拟游戏。接下来是模板，C++的模板功能让代码更加通用，可以处理不同类型的数据。模板分为函数模板和类模板，前者可以创建泛型函数，后者可以创建泛型类。通过模板，你可以编写出高效且灵活的代码，比如实现一个通用的排序算法。异常处理是C++中用于处理程序运行时错误的机制。当程序出现异常情况时，可以抛出一个异常，然后在适当的点捕获并处理这个异常。这使得代码能够优雅地处理错误，而不是让程序崩溃。实例中可能会有涉及文件操作或网络通信时可能出现的异常处理示例。

scratch少儿编程逻辑思维游戏源码-忍者无限跑者.zip

少儿编程scratch项目源代码文件案例素材-战斗机游戏.zip

手工DIY行业_微信小程序云开发_手工坊预约管理系统_基于腾讯云开发技术的手工DIY行业线上线下结合解决方案_包含手工项目展示预约管理签到核销数据统计等完整功能_支持后台时段设置人.zip

手工DIY行业_微信小程序云开发_手工坊预约管理系统_基于腾讯云开发技术的手工DIY行业线上线下结合解决方案_包含手工项目展示预约管理签到核销数据统计等完整功能_支持后台时段设置人

【多媒体处理】FFmpeg常用命令总结：音频视频转换裁剪及特效处理实用技巧

内容概要：本文档汇总了FFmpeg工具的多个实用命令示例，涵盖音频和视频处理的各个方面。包括但不限于：音频采样率转换、音频格式转为raw、查询音频文件时长与音量检测、调整音频音量大小、改变音频播放速度、视频逆序播放（针对无音频视频）、精准视频片段截取、音频片段截取、视频与音频合并处理、调整视频宽高比等。每个命令都提供了具体的参数设置方法；适合人群：音视频编辑爱好者、多媒体处理领域的初学者或有一定经验的技术人员；使用场景及目标：①在音频处理方面，可以完成从格式转换到音质调整的任务；②在视频处理上，能够实现基本的剪辑操作如切割、翻转、合并等；③为用户提供了一站式的解决方案，帮助用户快速掌握FFmpeg命令行工具的基本用法，提高工作效率；阅读建议：本指南以命令实例为主，建议读者结合实际需求选择相应的命令进行尝试，在实践中理解各个参数的作用并灵活运用。

传统硬盘建模及其预测控制系统设计（MATLAB）

一、毕业设计的技术背景和设计依据计算机硬盘驱动器作为一种存储数据信息的设备，在目前的计算机系统中起着不可替代的作用，读写的快慢对整个计算机系统的性能无疑占有重要地位。硬盘式电子计算机磁记录机构中最为精密的一类微机电系统设备，它对振动的敏感性是由其结构决定的，而其控制尚未很好的解决，针对硬盘展开建模及控制有着重要的实际应用价值。二、毕业设计的任务现代硬盘一般有 1 - 5 个盘片，以常见的 3.5 英寸硬盘为例，盘片直径约为 95mm，厚度约为 0.635mm。磁头数量通常与盘片数量相关，每面盘片有一个磁头，比如一个 3 盘片的硬盘就有 6 个磁头。缓存大小可能为 32MB、64MB 或 128MB 等，如某普通硬盘缓存为 64MB，电机功率一般在 2 - 5W，像转速为 7200RPM（转每分钟）的电机功率约 3W。数据写入时，磁头在电机带动下，以平均寻道速度约 10 - 15m/s 定位磁道。以一块顺序写入数据的硬盘为例，当写入连续大文件，如 1GB 的视频文件时，在 SATA3.0 接口下，理论传输带宽为 6Gb/s（约 750MB/s），实际可达 500 - 600MB/s。读取时，磁头感应盘片磁场变化，如读取小文件（1MB 大小），若磁头寻道距离平均为 1000 个磁道，每次寻道时间约 8 - 12ms，读取速度会因寻道而下降到 10 - 20MB/s。本设计选取硬盘驱动器作为研究对象，假设电机扭矩为 0.3N・m，盘片转动惯量为 0.003kg・m²，轴承摩擦力矩为 0.03N・m。在稳定旋转阶段，转速波动范围设为额定转速的 ±0.5%，即 ±36RPM。首先通过对该系统分析建立了其物理模型，然后针对以音圈电机作为伺服机构的硬盘磁头定位伺服系统的性能要求，对音圈电机的控制设计采用三种控制器方案，即极点配置法、PID控制方法、线性二次型调节器方法，分别比较分

0顶0踩