3 腾讯游戏-AI时代的湖仓数据体系建设

腾讯游戏数据工程挑战与AI驱动湖仓资产体系优化

腾讯游戏数据发展历程

• 2003-2007年：以休闲品类进入市场，处于基础功能完善阶段。
• 2015年至今：产业链布局全面出海，数据需求持续增长。

游戏业务对数据的需求

• 年均数据挖掘/提取类需求达数万个，数据挖掘是问题归因、分析决策、干预闭环的关键。

如何更好地服务业务

• AI需解决从业务需求到数据结果的完整环节，建立AI环境下的工程平台和资产体系。

基于多智能体的需求构造

提示词（需求）的完备度与结果准确性

• 好提示词特点：完整上下文解释、隐性知识、行业know-how、恰当示例、逐步思考、明确预期结果。

基于需求标准的人与AI需求对齐

• 需求标准：筛选、问题、结果三段式提问，及行业知识。
• 需求Agent功能：匹配需求案例和行业知识，整理改写为标准格式。

根据复杂度进行需求分解

• 复杂度与准确率关系：
  • 复杂度≤4：准确率>90%
  • 复杂度5-7：准确率>60%
  • 复杂度≥8：准确率<25%
  • 复杂度≥15：正确率趋近于0
• 复杂度计算：Where个数+Join个数+Union个数+Group By个数+OrderBy个数+Distinct个数+高阶函数个数。

AI驱动的湖仓资产体系

LLM在SQL生成的能力瓶颈

• BIRD数据集：包含12,751个独特问题SQL对，覆盖95个数据库和37个专业领域。
• Spider数据集：包含10,181个问题和5,693个复杂SQL查询，涉及200个数据库和138个领域。

如何提高SQL准确率

• 通过需求分解、领域模型、智能加速等技术手段提升准确率。

构建“人和AI”都能理解的资产

• 建立业务需求、行业知识、数据结构之间的资产纽带，通过领域模型沉淀和推荐。

领域模型技术架构

• 分层存储：冷、热、实时三级存储，满足不同层级性能需求。

新一代AI资产基建-湖仓一体

• 湖仓一体化优势：
  • 数据分析直接使用明细数据，支持实时链路接入。
  • 自助化分析，看板基于明细数据实时计算。
  • 分级存储，按时间或重要程度优化性价比。

基于StarRocks构建湖仓一体解决方案

• 核心特性：
  • 独立无状态的ComputeNode支持灵活扩展。
  • 存储层在对象存储上灵活扩展。
  • 支持热存储和冷存储查询。
  • 数据下沉机制实现冷热存储转储。

智能动态加速

• StarRocks物化视图：基于LLM实现智能动态加速。

基于LLM的数据工程平台

多智能体架构，人与AI高度协同工作

• Agent架构：将Job分解为Task，AI完成部分Task，人AI协同完成需求协同、验收协同。
• 实时交互：各节点Agent与用户实时交互，及时感知问题并修正。

分层持续运营，AI持续进化

• 需求规范：需求模板定义、需求质量识别、需求格式标准、需求分类。
• 行业知识：沉淀派生指标计算逻辑、特殊逻辑说明。
• 特征资产：沉淀非通用领域维度枚举值、派生维度计算规则。
• 库表资产：完善元数据管理，优化计算效率。
• 资产平台：支持多种资产初始化方式，支持SR、MySQL、HIVE等。
• 工程平台：支持个性化prompt配置、API调用。

多租户、可配置、安全的工程平台

• 核心能力：
  • 稳定可控的需求构造。
  • 智能动态的计算加速。
  • AI可理解的资产体系。
  • 可持续优化的运营平台。

系统演示Demo

• Udata产品演示：大模型时代的智能数据助手。

相关书籍

• 《大模型实战：AI驱动下的数据体系》（腾讯游戏数据团队编著）

欢迎联系交流