8-4 BI 平台在小米的实践

小米的BI平台发展演变

小米BI平台发展演变

• 2019年：业务自建阶段，集团内以各个业务的主题式BI建设为主。
• 2020年：产品整合阶段，整合多维分析产品，包括打点统计、用户行为分析、BI可视化等，并深度集成采集和集团数仓能力。
• 2021年：可视化阶段，汇集集团大量的看板可视化需求，强移动化，和IM强集成，重点打造高管驾驶舱场景。
• 2022年：规模化交付阶段，重塑底层架构和产品形态，切入研产供财务体系，建设规模化的交付能力，实现更轻的数据消费形式&数据智能。

BI平台建设的探索和实践

• 数据系统选型：
  • 引擎选择：主推Doris，因其对宽表的易用性，但稳定性不足，无法满足极致性能要求。
  • 数据源支持：原本不支持Hive，但需求量巨大，推进加速方案；非互联网体系的数据源如BW体系需特别处理。
• 查询体验优化：
  • 产品功能优化：裁剪数据量、数据抽样、集群空闲程度监控、拆分实时和离线查询、查询排队机制、SQL拼接优化、查询耗时预估、提供性能分析功能。
  • 前端加载优化：即时查询->提交查询、查询功能拆分、去重合计拆分、干掉Like/正则匹配、维度值查询和更新策略、重点保障首屏加载、首tab加载、分页加载。
• 建模优化：
  • SQL拼接查询、复杂指标SQL片段、定义参数变量、join优化/SQL调优、基于Cube查询、复杂指标用函数搞定、时间层级自动聚合、维度层级结构MDXSQL。
• 可视化优化：
  • 图表、样式、交互，可视化是重点和难点，用户更倾向于定制化实现。
• 权限管理：
  • 尝试数据资源自定义页面&操作资源管控权限，但RBAC管理复杂。
• 终极天坑：
  • 业务侧期望平台解决所有查数&可视化问题，产研侧认为所有需求都应由BI平台服务。

BI平台目前产品架构

• 数据存储：Hive、Iceberg、Doris、SAP Hana。
• 可视化组件：图表组件、筛选组件、交互组件、富文本自由布局、联动下钻、多端适配。
• 数据建模：日期转换、层次结构、指标维度定义、函数处理、自动加速、主题风格、语义模型。
• 数据源：数据百科、PC看板、移动看板、报表场景、数据探索、在线文档、订阅简报报告、场景DataBot。
• 智能分析：异常/根因分析、智能预警分析、算法智能分析。
• 权限管理：MySQL统一鉴权、分享授权。

未来规划和演进方向

• 数据消费趋势：从静态、固定式的图表/看板查询转向互动、碎片式的简报/机器人。
• 小米规划和演进方向：
  • “更业务”“更简单”：面向研产供财等业务领域的规模化交付能力。
  • 更灵活的定制：OLAP分析底座、数据建模、可视化展现、应用场景。
  • 更轻的产品形态和数据消费方式。
  • 更智能：DataBot。