可观测性体系建设100问

可观测性体系建设

可观测性基础概念与建设价值

• 可观测性定义：基于系统生成的数据（指标、日志、跟踪）来测量系统内部状态的能力，尤其在云原生、微服务等复杂环境下，帮助企业和开发者理解系统行为，检测并解决问题。
• 可观测性三大支柱：指标（Metrics）、日志（Logs）、跟踪（Traces），共同构成现代可观测性的基础。
• 可观测性三大能力阶段：Know（知道）、Triage（分类）、Understand（理解）、Remediate（止损），强调从问题发生到解决的快速响应。
• 建设可观测性统一平台的原因：打破单点工具限制，实现数据统一汇聚与处理，提高问题识别和解决效率。
• 可观测性能力建设价值：
  • 技术方面：故障排查、性能优化、容量规划、告警预警、系统行为追踪等。
  • 组织建设方面：提升用户体验、支撑业务增长、降低业务风险、优化产品服务、快速响应市场变化。
  • 业务能力方面：提升用户体验和品牌满意度、支撑业务增长、降低业务风险、优化产品和服务、快速反应市场变化。

可观测性技术应用

• 可观测性与数据管理：可观测数据底座作为数据基石，实现数据治理、关联构建、统计分析、传输通信、数据安全等功能。
• 可观测性场景落地能力：
  • IT运维：确保应用和服务稳定可靠，提供数据分析支持。
  • 平台工程：确保生产环境符合服务级别目标（SLO），支持数据驱动的持续改进。
  • 软件开发：集成到CI/CD管道，快速反馈代码部署情况，加速功能发布。
  • 业务分析：了解和分析关键业务指标，支持业务决策。
  • BizOps业务运营：构建聚焦于业务与用户体验的运维体系，实现代码故障根因定位和告警收敛。
  • DevOps：实现实时监控与高效故障预防，监测CI/CD活动，发现异常。
  • 云成本FinOps：理解和管理云资源，实现高效的云成本优化。
• 可观测性技术跨领域深度应用：
  • AI/ML：收集和分析AI/ML系统行为、性能和决策过程数据，确保系统透明度、可靠性和效率。
  • 业务运营：收集、分析和可视化业务数据，监控和优化业务流程，提升运营效率和决策质量。
  • SRE工程：基于数据驱动的运维，通过SLO管理服务，提升操作自动化水平，提升工作成效。
  • 云成本计算：实现资源利用率的可视化，建立每日对账机制，进行弹性扩缩容操作，促进人力成本优化。
  • 数字体验：通过收集和分析用户互动数据，优化产品和服务，提升用户满意度和业务决策有效性。
  • 基础设施：对主机、进程、容器、网络性能等方面进行实时跟踪和监测，确保基础设施稳定运行。

可观测性平台能力构建与实施

• 可观测性成熟度模型：包含监控（Monitoring）、基础可观测（Basic Observability）、因果可观测（Causal Observability）、主动可观测（Proactive Observability）、业务可观测（Business Observability）五个级别，帮助企业系统性地评估、改进和提升可观测性体系建设。
• SLO（服务水平目标）：测量服务健康的内部目标，可观测性数据为SLO模型增添效能与深度，提升故障定位能力。
• 可观测性对数字化转型的重要意义：赋能企业塑造全方位、深层次的可观测能力，实现数据价值最大化，加速企业数字化转型。
• 云原生与DevOps、SRE的关联：云原生技术需要更先进的社会技术实践，如持续交付和可观测性，DevOps和SRE也强调缩短反馈循环和减少重复工作，三者结合比单独使用更强大。
• 可观测性如何增强DevOps、SRE的实践：提供有效实践这些用例所需的数据，如功能标志、持续验证、事件分析等。
• 可观测性如何应用在云原生环境中：提供全面的云原生可观测体验，监控Kubernetes、Serverless等环境，确保容器化应用的稳定性和性能。
• 可观测性如何助力企业提升系统运营效率与效益：更高的增量收入、更快的平均检测时间（MTTD）和平均修复时间（MTTR）、避免事故、减少员工流失率，从而节省成本。
• 将可观测性引入实践：可观测性是一种持续的实践，需要团队共同承担责任，通过数据驱动的方式优化系统性能与稳定性。
• 可观测性平台功能：摄取、存储并分析运营遥测数据，识别并分析应用程序行为变化，提供上下文信息，与其他运维、服务管理和软件开发技术集成，支持多种云环境，提供多种遥测类型的交互式探索和分析，通过高级分析和机器学习提供洞察，支持成本管理、业务流程和活动监控、应用程序安全功能等。
• 可观测性平台技术选型与功能应用：
  • 企业自建可观测平台的优劣势：优势在于高度定制化、完全控制权、不受供应商锁定；劣势在于投入成本高、开发周期长、维护难度大、人才稀缺。
  • 企业购买可观测平台的优劣势：优势在于快速部署、成本可预测、供应商提供专业支持；劣势在于可能无法完全满足个性化需求、依赖供应商服务。
  • 如何选择合适的可观测性解决方案：考虑OpenTelemetry支持、数据规模支持、使用简便性、团队效率、成本控制等因素。
  • 可观测性在软件开发生命周期中的重要作用：实现错误的精准捕获、迅速修复、有效预防技术债务累积。
  • 可观测性驱动开发：在软件开发生命周期的早期引入可观测性，通过可观测性驱动开发，转变对生产环境的认知，获取最终用户的真实体验。
  • 可观测性的实际落地应用效益：提升基础设施全面控制能力、实时洞察应用性能优化需求、理解用户需求和优化体验、精准控制变更并优化发布效果、洞悉业务状况并提升决策能力。
  • 可观测性产品应具备的功能：摄取、存储并分析运营遥测数据，识别并分析应用程序行为变化，提供上下文信息，与其他运维、服务管理和软件开发技术集成，支持多种云环境，提供多种遥测类型的交互式探索和分析，通过高级分析和机器学习提供洞察，支持成本管理、业务流程和活动监控、应用程序安全功能等。
  • OpenTelemetry探针：自动捕获链路、指标、日志等应用遥测数据，并允许发送至所选后端系统，支持服务之间交互的最常用框架。
  • 如何通过探针提高可观测性能力：将警报信息自动推送至开发人员，缩短新代码上线后的反馈周期，实现从任意角度展开排查。
  • 应用性能观测：整合调用链、指标和日志等数据，确保系统稳定可靠，提升用户体验、恢复快速故障、估算故障损失、随时掌握系统健康情况。
  • 真实用户可观测（RUM）：分析和监测用户在实际使用应用程序或网站时的体验，帮助改善产品和服务，提升用户满意度和业务决策有效性。
  • 基础设施观测：对存储、网络设备、服务器、操作系统、中间件、数据库、虚拟化、云计算、容器、物联网等设备和应用一站式监控，完成容量预测、多维度分析等动作。
  • 智能告警功能：通过AI检测、AI预测、AI根因分析、AI深度分析等智能算法赋能Alert，提升智能告警的准确性，提供告警配置和告警分析功能。
  • 数据报表功能：提供仪表盘、自动报告、数据魔方等功能，帮助用户快速构建各类数据监控面板，实现高效数据可视化与监控。
  • 日志分析：进行深度日志服务与实时监控，包括实时监控运行状态、关键字告警、异常日志数据、端到端打通trace、session、数据解析等。
  • 如何借助可观测性平台实现主动观测洞察：通过检索中心、指标体系、数据分析模块、全局拓扑功能等协同作用，为企业提供全面的实时洞察与优化支持。
  • 可观测性信息存储：根据数据特点选择经济合适的存储方式，采用冷热数据分离的储存策略，设置数据过期策略，支持重要数据的永久储存。

可观测性未来发展趋势与展望

• 可观测技术产业生态发展趋势：
  • 融合更丰富的人工智能与机器学习能力。
  • 端到端的可观测性。
  • 实时性和动态性。
  • 安全性和隐私保护。
  • 人才需求快速增长，技能要求更综合。
  • 多方合作，促进生态建设。
  • 开源项目丰富，推动生态繁荣。
• 可观测性与其他相关行业应用的融合发展趋势：
  • 可观测与混沌工程融合发展，提升发现问题、定位问题的能力。
  • 可观测与AIOps融合发展，提升AIOps的场景落地能力。
  • 可观测与流程管理系统融合发展，实现告警的全周期闭环。
  • 可观测与CMDB集成，相互补充信息维度。
  • 可观测与CICD系统集成，将可观测采集探针集成到信息系统环境中。
  • 可观测与自动化运维融合发展，依赖自动化运维工具进行部署和扩展。
• 可观测平台未来几年建设建议：
  • 构建统一的基础监控感知能力。
  • 构建统一日志监控感知能力。
  • 构建统一应用调用链监控感知能力。
  • 构建告警的统一闭环治理能力。
• 未来几年可观测性平台建设的关键方向与业务定位策略：
  • 面向应用构建故障的快速定位能力。
  • 融合APM、基础监控、日志、CMDB拓扑进行辅助故障定位。
  • 面向业务提供监控与故障定位能力。
  • 实现业务指标监控与业务交易链路观测。
  • 结合应用可观测能力实现业务问题的故障定位。
• 如何通过智能化技术和扩展性架构推动未来几年全栈可观测平台的建设：
  • 结合AI和大模型进一步升华可观测能力。
  • 融合网络监控工具和用户监控工具实现全栈监控。
  • 融合NPM、eBPF技术将网络流量级诊断能力丰富到故障定位能力中。
  • 融合RUM（真实用户监控）实现端到端的全栈可观测能力。