蚂蚁集团大规模互联网系统SRE稳定性实践

个人简介与业务SRE定义

张达，支付宝数字互联SRE团队负责人，专注于解决数字互联业务发展阶段的稳定性问题，长期在应急、容量、大促领域积累经验，迭代技术风险应急和大促架构。业务SRE侧重特定业务系统的可靠性和效率，需懂业务、可靠性和运维，识别业务痛点，优化性能，提升用户体验，并与研发、质量、PD、BD、平台SRE协同工作。

业务SRE工作目标与稳定性框架

业务SRE工作目标是解决业务可靠性和效率痛点，助力业务发展。其稳定性框架包括业务专项对齐业务发展目标，并实践路径。

蚂蚁应急专题

蚂蚁应急要求与历史

蚂蚁应急要求遵循1-5-10原则，应急发展经历了从无到有、从有到优的过程。值班长机制为鼓励和培养全面应急能力，由全局稳定性小组组长、副组长选拔，每年一任，人数4-6名，BU应急值班长由研发、质量或SRE担任，每年替换不超过现有50%人员，每个BU应急值班长约占本BU人数1%。

蚂蚁应急产品与技术

蚂蚁应急产品包括客诉舆情应急产品和端智能应急产品。蚂蚁应急技术涉及多方面，但正文未详细展开。

蚂蚁大促稳定性

大促分级及SOP

大促分为支付峰值型和玩法峰值型，支付峰值型挑战在于秒杀、红包发放等，玩法峰值型挑战在于玩法多样复杂、端增压力巨大。大促资源超卖技术利用Spot Instances动态调整资源，核心技术包括基于三层混布的超卖技术和动态负载预测和回收。

核心技术细节

• 三层混布的超卖技术：在prod层超卖资源，解决资源不均衡问题，最大化算力QoS质量。
• 动态负载预测和回收：检测资源争抢风险，对优先级低的pod进行处理，包括压制资源使用量、驱逐pod、减少节点上报资源等。