腾讯音乐基于全链路的可观测挑战与解决之道 - 吴杰华

个人简介

吴杰华，腾讯音乐监控负责人，拥有9年研发经验，其中7年专注于监控领域。2019年加入腾讯音乐后负责监控业务，提供一站式监控服务。其平台专注监控及可观测性领域，提供高可用、低延迟、低成本的观测能力，全方位覆盖业务监控诉求。

背景与挑战

腾讯音乐监控业务的发展历程及成果，以及面临的挑战。监控初期的现状挑战包括数据体量大、业务多样化、监控诉求（规范不一致、框架结构复杂、使用不便、快速发现能力低、治理复杂度高）。

腾讯音乐解决方案

构建一站式大数据平台，实现100%自主数据加工和多维分析能力。推进标准化，开始构建全链路体系。

1. 一站式数据工厂，支撑各类数据加工。
2. 多维度报表能力，自助进行归因分析。
3. 自适应收敛的告警策略，为质量监控赋能（折算值累计到达8触发告警，累计值小于3时间隔2个正常点清空计数，累计值等于3时间隔3个正常点清空计数，累计值大于等于4小于6时间隔3个正常点情况计数，同时记录告警的开始时间、结束时间、告警时间点数、总异常时间点数、总记录数、告警次数、告警累计值）。
4. 消息通道升级策略，责任人跟进到位（消息只允许短暂屏蔽，责任人需跟进到位）。
5. 标准化指标数据，模板式接入。

全链路之初实践

1. 全链路拓扑图：基于大规模故障的聚集性分析，依据主被调服务的模调间关系，绘制出全景链路视图，辅助分析故障。
2. 全链路可观测解决之道：借助容器化趋势，后端统一日志标准，基于OTel进行链路绘制。在链路上下钻分析，关联trace及相关事件，结合归因与可观测，挖掘有价值日志。
   • 观测之道：一为看
     1. 标准指标协议：业界标准（标准字段）、自定义指标协议（自定义字段）、团队标准（关联指标其他数据源字段）。
     2. 链路构建生成完整链路图：发布日志（人为操作/系统操作）、服务日志（FATAL/ERROR/WARN）、平台日志（告警/事件/通知公告）。
     3. 链路标记凸显关键点&边。
     4. 结合OTel统一链路升级。
     5. 结合业务统一实时观测。
   • 观测之道：二为听
     • 由点到面的告警，观测粒度统一收敛到服务层面，再进行可观测挖掘。
     • 告警发生时的归因与可观测挖掘。

探索可观测前沿场景

1. 快速挖掘业务影响面：
   • 影响业务：通过相似链路，关联出传统链路所关联缺失的链路，补全完整业务覆盖面。
   • 近似链路：智能关联近似链路，汇聚不同维数据，匹配高相似度请求。
   • 数据融合：不同的数据口径上报的数据，挖掘共性，构建更多维的底层。
2. 探索多云环境下的可观测能力：
   • 多云可观测性：规避数据孤岛问题，统一多云上研发相关数据协议、接口、格式等，数据难以互通。
   • 通过中台能力：打通云上云下监控手段，实现对故障的高效定位，提升研发效能。
   • 多云下会产生大量遥测数据：实现全部可观测所需付出的成本问题。
3. 探索大模型+可观测：
   • 总结性归因：对每次告警总结归因，通过专家经验、用户确认优化模型，从而更准更快剖析出下次故障根因。
   • 自适应监控：未来的可观测性系统将能够自适应调整监控策略，根据实时数据动态优化监控参数。
   • 预测性监控：利用大模型进行预测性监控，提前识别潜在问题并采取预防措施，提供更强大的安全监控和威胁检测能力。