腾讯云 TI 平台大模型精调解决方案

一、大模型在业务场景落地的痛点

• AI进入大模型时代，但落地业务场景存在痛点：
  • 大规模训练不稳定
  • 资源利用率低
  • 模型欠缺行业知识
  • 需国产化适配

二、TI对大模型精调解决方案的思考

• TI提供大模型开发全生命周期的一体化方法论

三、TI大模型精调解决方案的4大核心优势

• 自研模型：
  • 混元大模型（超千亿参数规模）
  • 行业大模型（10亿参数可媲美千亿通用大模型）
• 大规模训练：
  • 简单：5步完成精调落地
  • 稳定：自底向上3层机制保障
  • 高效：
    • 提高容器资源利用率
    • 减少资源碎片，提升调度成功率
    • 全开源、易扩展、开箱即用
    • 100+任务类型的精调配比数据
    • 3大类数据处理pipeline
    • 覆盖12大类下的100+LLM应用场景
    • 覆盖3类精调预训练通用场景
• 自研加速：
  • Angel框架三重优化，支持更多模型，实现更高加速比
• 国产化适配：
  • 产品支持情况
  • 获得多项信创认证

四、TI大模型精调的具体产品能力

• 精调产品能力全局视图：
  • 一键部署大模型（内置llama、baichuan、ChatGLM、bloom等）
  • 模型效果测试（页面问答、http接口调用）
  • 训练数据（支持10+种来源，统一格式，挂载数据源）
  • 数据预处理（3大类pipeline，可视化统计分析，清洗过滤配置）
  • 训练镜像（内置LLM依赖包，deepspeed & Angel加速框架）
  • 启动训练任务（精调模式Full/Lora，任务超参，资源预估）
  • 训练任务监控（训练日志事件、Loss曲线）
  • 模型评测（轻量体验、客观评测、主观评测）
  • 产出模型（全量ckpt模型文件）
  • 推理镜像（FastChat和vllm二次开发，兼容OpenAI接口）
  • 模型服务（部署、体验、调用、内容安全）

五、落地案例

• 阅文集团：应用于客服“i问财”，训练投顾、投研领域文本生成、对话大模型，训练规模1.8万亿Token，40台8卡H800，130亿参数
• 同花顺：应用于APP客服“i问财”，技术亮点包括独有纳管模式、高稳定性任务调度、灵活调度策略、完善监控指标告警体系
• 某文旅客户
• 某消费电子客户
• 某税务部门