云原生监控：日志与指标的新结合

云原生监控：日志与指标的新结合 日志服务CLS新功能发布 主讲人：刘正新 目录 03 产品易用性提升 02 日志核心功能提升 01 日志+指标全栈式监控方案 01日志+指标全栈式监控方案 新增“指标主题”功能，兼容Prometheus生态 NEW 在成熟的日志功能基础上，新推出指标功能。日志与指标的有机结合，带来全新的监控体验。 PrometheusHTTPAPI Grafana 展示/告警 PrometheusRemoteRead/Write 第三方Prometheus 新增“指标主题”功能，兼容Prometheus生态 仪表盘 告警 预聚合（兼容PrometheusRecordingRule） 指标查询/统计（兼容PromQL） 指标采集 指标主题 指标查询/导出 本地Prometheus PrometheusRemoteWrite Vmagent、Telegraf等开源采集Agent/SDK 腾讯云各类云产品监控指标 TKE/K8S 拥抱开源生态，兼容Prometheus指标采集、查询、导出等协议与接口，可与各类开源监控方案进行融合 按需使用，无需运维部署，畅享低成本云原生弹性服务 统一管理指标采集规则与日志采集规则，指标数据与日志数据支持关联分析，高效定位系统异常问题 基于日志提取关键业务指标 原始日志数据 使用定时SQL分析提取指标 提取后的指标数据 *|select url,host,approx_percentile("request_time",0.95)as request_time_p95, avg("request_time")asrequest_time_avggroupby url,host limit1000000 日志数据量大，存储成本较高，将其中的关键业务指标提取出来后可实现低成本长期存储 指标数据查询性能更高、查询语句编写更加容易，适合使用仪表盘进行展示 02日志核心功能提升 日志索引全自动配置：无需手动维护索引，易用性Up！ 痛点 推荐配置 索引配置概念复杂，难上手 日志结构多样，难以罗列所有可能的日志字段 日志结构变化，容易遗漏新增字段 索引配置不恰到时，需重建索引才能修复，成 本高 使用“推荐配置”一键完成索引配置 系统自动识别日志中的字段并创建索引，包括日志中后续新增的字段 无需手动配置，大幅度降低产品使用复杂度 示例： 某业务系统请求日志，包含如下字段： MySQL中的用户信息表如下： 通过关联分析获得每个请求对于的用户名称(Name)及性别(Gender) "status_code":"404" "local_time":"2023-06-0519:59:01""refer":"_", "user_id":"15" "ip":"66.131.53.125" "url":"\"GET/class/111.htmlHTTP/1.1\"" 日志数据关联分析：深度挖掘日志数据价值 SQL关联分析（JOIN、UNION、EXCEPT等） 日志主题A 日志主题B CSV文件 MySQL id Name Gender 1 JohnDoe Male 2 JaneSmith Female 3 MichaelJohnson Male 4 SarahDavis Female 可使用SQL关联分析多个数据源，支持JOIN、UNION、EXCEPT、INTERSECT等语法 数据源可为同地域的日志主题，也可以为外部数据源（包括CSV文件、云数据库MySQL、自建MySQL） 03产品易用性提升 多种角色 鉴权 多种 登录方式 内网访问更安全 丰富的 URL参数 独立控制台DataSight：灵活满足企业内部账号管理/集成要求 DataSight 账号体系灵活安全 无需登陆腾讯云控制台即可访问日志服务，管控更安全。 支持“自定义账号密码登录”或“内网免登录”等多种访问方式 支持对接第三方身份认证系统（LDAP、OAuth等） 易集成、易运维 可内嵌DataSight页面到企业内部统一运维平台 开箱即用，无需单独部署 云产品日志中心：云产品日志接入、查询更便捷 云产品日志中心 一站式管理与使用云产品日志，包括日志接入、检索、统计分析以及数据可视化。 已经支持对象存储COS、容器服务TKE、负载均衡CLB、内容分发网络CDN及云函数SCF的日志接入，更多云产品也即将上线。 数据加工：以可视化方式配置数据加工逻辑 键值提取函数 行处理函数 字段处理函数 值结构化函数 正则处理函数 … 数据加工提供对日志数据的过滤、清洗、 脱敏、富化、分发等能力 支持以拓扑图的方式通过点击配置数据加工逻辑，无需学习原有的数据加工函数及语法 THANKS