安全生产保障体系概览
数字化转型中，系统安全生产面临云资源增长和业务精细化带来的挑战。当前存在安全生产意识缺失、工具能力建设不到位、管理制度制定与落实不到位等问题。
系统安全保障体系建设历程
安全生产保障体系建设是一个逐步演进的过程，基于现状问题提出解决方案，借鉴行业经验，从工具产品化到制度、管理体系化转变。
系统安全保障体系-运营支撑体系
以“一个目标，依托四大保障，聚焦研运流程中四个阶段，对应十五项核心工作”为框架，包括制度规范保障、组织架构保障、运营机制保障、平台工具保障。
制度规范保障
制定《大IT生产运营规范》、《红线底线纪律条例》以及《大IT生产运营奖惩方案》，明确团队组织、分工、流程和工作要求，落实集中系统维护职责。
组织架构保障
建立健全总部及省分系统四级运营团队，完善四级运营人员操作流程。
运营机制保障
通过活动运营、会议运营、数据运营、大屏运营四大类机制，动员提升全体员工安全生产意识。
平台工具保障
数字化监控平台为十五项核心运营工作提供端到端、全层级、全流程工具支撑保障。
稳定性保障工具建设思路
从可观测性、稳定性测试、隐患管理、变更管理、故障管理等维度阐述稳定性保障工具建设思路。
稳定性保障工具聚焦领域
- 可观测性
- 稳定性测试
- 隐患管理
- 故障管理
- 变更管理
- 自动化运维
- 配置管理
数字化监控平台能力架构
以DevOps理念、SRE理论为指导，提供端到端、全层级、全流程、全栈式的运维工具支撑。
可观测性工具建设
- 指标：实现全层级指标数据采集及标准化。
- 链路追踪：支持跨系统、跨云平台、跨数据中心链路拓扑。
- 日志分析：统一规范的日志采集、存储、检索与异常检测能力。
- 一键故障诊断：单agent采集指标、报文日志、链路数据，实现三位一体的可观测性平台。
一键故障诊断案例
当前一键故障诊断率达65%左右。
稳定性测试
- 端到端全链路压测：通过增强调用链探针能力，打造One Agent，实现读、写流量压测。
- 隐患分析：结合告警与容量指标，定期开展隐患评估和预测。
隐患分析案例
2022年2月至今cBSS集中系统日均高风险项压降90%以上；2023年4月起全链路压测试点3个系统，发现6类问题点。
变更管理
生产运营流程线上化统一管理，实现统一线上化流程制定、申请、审批入口。IaaS、PaaS、SaaS全层级变更轨迹追踪。
故障管理
故障管理平台实现故障事前、事中、事后全流程线上闭环管理。
当前存在的问题与未来展望
当前存在的问题
- 产品能力需结合真实故障场景、客户需求逐步打磨。
- 可观测性建设问题。
- 容量管理问题。
- 隐患分析问题。
- 自动化、智能化能力问题。
未来展望
- 挑战：内部系统复杂性增加，外部国际竞争、开源软件供应链问题、大模型发展冲击。
- 机遇：推动产品全方位打磨与升级，拥抱开源，信创适配，利用大模型提高工作效率。
总结
改进方向：加强安全生产保障团队建设，提升组织安全生产责任意识；明确、有序开展安全生产保障工作；围绕一个目标，群策群力，能力共享。做的好的地方在于降本增效，做的不好的地方在于增强补齐能力。以客户为中心，细化、打磨产品。
