行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

大模型时代的数据分析创新方案与实践

信息技术 2024-04-25 刘豹数势科技胡诗郁

大模型时代指标平台建设实践

LLM Agent 与数据普惠

LLM Agent 常见落地场景：内容创作、安全与风控、企业级知识库、智能分析与决策、广告与销售、智能客服等。
数据普惠目标：降低数据使用门槛，提升企业经营决策与日常业务流中数据参与度。
智能分析 LLM Agent 常见方案对比：NL2SQL、NL2API、Semantic Layer。

数据普惠实现路径

统一语义层的重要性：提高准确率、降低成本，使所有数据端点使用相同的语义和底层数据。
仓内语义的局限性：繁琐复杂、业务指向性差，数据产品经理、数据开发、终端数据使用者难以协同。
仓内语义 LLM Agent 方案（NL2SQL）的缺点：准确率低、性能不稳定、数据安全风险。
仓外语义的优势：灵活便捷、贴近业务，数据建模右移，基于虚拟层做数据编织，口径管理更灵活。
仓外语义 LLM Agent 方案（NL2API）的优点：数据可信、准确率高、学习成本低、性能提升且稳定、数据安全可保障、能力覆盖更全。
数势 SwiftAgent 特点：统一数据语义管理、数据计算加速引擎、多源异构数据接入、精确用户意图理解、持续反思学习，自主进化。

数势科技基于 Apache Doris 的数据语义平台建设实践

数势指标平台产品概况：提供高效、便捷的指标管理，快速、灵活的指标查询，精细、可靠的数据安全。
DataFabric 理念：指标管理高效、便捷，数据虚拟化，指标定义与数据解耦，灵活性高。
多源融合、灵活、极速：Doris 存算分离、湖仓一体分析，跨源联邦数据查询分析，Doris DataCache 机制 & 自研预计算加速引擎。
OLAP 引擎选型：Doris 在基础功能、列存支持、动态分区、智能物化视图、事务支持、查询能力、引擎性能、存储副本粒度、集群能力、元数据管理、分布式能力、场景支持等方面优于 ClickHouse、Impala + Kudu + HDFS、Kylin。
旁路智能预计算加速引擎（HME）：执行引擎（Doris/SelectDB）、SQL 引擎、物化视图、跨表关联查询缓存、RESTful、Java API、SQL、MDX。
HME 核心优化策略：自动预打宽、自动重分区、自动预聚合、自动去重、自动缓存、多预计算选取、支持复杂指标查询优化、ROI。
贴合业务场景需要的加速引擎：HME 数据虚拟层、业务模型、维度表、事件明细表、模型指标表、聚合上卷、指标联合。
HME 加速示例：未经 HME 优化执行耗时 28878.4ms，HME 优化后执行耗时 359ms。
客户真实环境性能压测报告：集群规模、事实表名、行数、Disk 占用、压测指标、响应时长、可用性、QPS、网络、CPU、内存。
数据安全精细、可靠：RBAC 权限模型，行列级精细化控制。