TI-ONE：多元模型企业级精调推理

多元模型企业级精调推理 TIONE构建高质量AI基座 刘翃腾讯云TI平台资深产品经理 DeepSeek模型很强大，为什么还要精调 过度推理问题指令遵循问题推理效率问题 腾讯云TI平台TIONE：面向实战的大模型开发平台 具备一定算法知识和开发能力的AI工程师以更高效率精调并部署可真正落地的大模型 实用工具链 高效灵活的数据准备 稳定可控的训练调度 方式齐全的模型评测 易用可靠的的模型部署 可灵活扩展的多模态数据标注 可自定义的任务调度策略 可即时发起的模型效果检验可自动弹缩的分布式部署 4大类场景全面支持3层机制保障减少中断 3阶段评测全面覆盖 稳定支持高并发 强大内核 模型框架算力 内置主流开源大模型 DeepSeek全系模型支持精调部署 内置自研Angel推理加速框架业内第一梯队的大模型加速效果 X86ARM异构算力纳管 极致满足多厂商AI芯片管理和调度 大模型应用AI基座 RAG 知识文档 知识问答 TI平台 知识引擎 前端应用 AI业务系统 智能客服 知识引擎应用数智人 DeepSeek联网助手 开发对接 联网搜索 文档问答知识摘要 文档解析 工作流 向量检索 文档拆分多轮改写 意图识别 配置项 专属模型产出 DeepSeek全系模型精调 快速基于垂直领域高质量数据，进一步提升模型在特定领域的效果 基于DeepSeekR1蒸馏较小模型实现知识迁移。大幅降低推理成本，在保证效果的同时提升响应速度。 私有API调用 DeepSeek全系模型部署 从算力，模型，调用接口完全自主可 控的部署方案，服务于前端AI应用 大模型API 私有API公网、VPC 客户专属模型 DeepSeek系列模型 腾讯云精调知识大模型 混元系列模型 行业大模型 模型服务 模型部署 兼容OpenAI接口规范 模型训练 DeepSeek全系模型混元系列模型 全参LoRASFT DeepSeek满血版 DeepSeek蒸馏版模型 蒸馏 其他开源模型 其他开源模型 客户专属模型 专属模型 精调训练面向实战 全开源可扩展的数据构建pipeline 灵活可配的任务调度策略 自适应可配置的多模态标注 数据准备企业级训练工具模型训练 故障主动恢复的长时任务保障 100场景的精调配比数据边训边测的3阶段模型效果评测 模型部署高效稳定 一体化大模型服务管理工具及推理加速能力 核心收益 纳管资源组 按量计费算力池 算力调度 大模型专属GPU算力CPU及传统GPU算力 包月独享按需按量 服务管理 与运营 指标监控 鉴权限流 流量分配 实时掌握服务性能、调用量、资源消耗等关键指标 自动调度符算力资源，弹性灵活应对业务峰谷 容器调度 HPA扩缩容定时扩缩容组合扩缩容 提供多种扩缩容策略，满足不同场景的灵活资源需求 主流开源大模型 一体化服务管理工具 长上下文64128K 超大模型启动加速独享GPU算力集群私有API服务调用高并发、高可用 企业级鉴权流控 Angel 推理加速 DeepSeek 全系模型 EP多专家并行 INT4量化 MTP并行解码加速 Torchcompile 算子优化 算力投入持续降低 应用场景AI搜索与角色扮演 AI搜索 问题：AI搜索场景在表格检索、数据库检索效果不佳，答 案准确率期望进一步提升 方案：集成R1优化阅读理解能力，同时使用DeepSeekcoder训练Text2SQL模型 效果： 提供中间思考过程，提升答案准确率5以上，并且支持长上下文（128Ktokens）的多轮交互 表格检索和数据库检索的效果提升6以上 角色扮演 问题：V3R1原模型在角色扮演场景下存在括号文学单一、重复等问题，效果不佳 方案：基于V3模型SFT精调角色扮演专属模型 效果： 提升模型对角色指令遵循能力 借助V3拥有更全、更新的知识储备激发出更丰富的剧情、更准确的IP角色对话 动态对话与剧情生成 应用场景知识问答 问题：V3R1原模型有较强的先验知识，指令遵循弱，导致不按内部文档库回答，例如忽略业务场景过度推理、超出已知内容时根据模 回答安全可控，不做过度推理 精调前 精调后 方案：结合指令遵循和阅读理解数据对V3R1进行SFTDPO训练 效果：指令遵循增强 型自身知识回答等情况 模型高效推理，推理过程简洁高效 精调前 精调后 应用场景交互式Agent 问题：V3R1指令遵循能力较差，表现为“不听话” 效果： 方案一：仅利用R1长思维链，借助Instruct模型（如qwen2572BInstruct、LLaMA3370BInstruct等）给出最终答案 结合R1思维链后，Instruct模型可在现有REACT框架下无痛升级 方案二：结合Agent关注的指令遵循能力数据集使用SFT、 DPOGRPO微调R1或R1蒸馏版模型 效果： 使用常规训练集（涵盖QA、数学、代码、写作、翻译等领域）进行训练得到具备指令遵循能力的baseline模型。 在baseline基础上，使用数据飞轮技术针对性构建指令遵循训练集强化指令遵循能力，其微调效果已经得到了确认36 微调R1或R1蒸馏版模型预期有类似效果提升 应用场景交互式Agent 问题：V3R1指令遵循能力较差，表现为“不听话” 效果： 方案一：仅利用R1长思维链，借助Instruct模型（如qwen2572BInstruct、LLaMA3370BInstruct等）给出最终答案 结合R1思维链后，Instruct模型可在现有REACT框架下无痛升级 方案二：结合Agent关注的指令遵循能力数据集使用SFT、 DPOGRPO微调R1或R1蒸馏版模型 效果： 使用常规训练集（涵盖QA、数学、代码、写作、翻译等领域）进行训练得到具备指令遵循能力的baseline模型。 在baseline基础上，使用数据飞轮技术针对性构建指令遵循训练集强化指令遵循能力，其微调效果已经得到了确认36 微调R1或R1蒸馏版模型预期有类似效果提升 大模型精调部署实践价值 启动阶段启动阶段 痛点 痛点TI平台价值 TI平台价值 不知怎么基于R1蒸馏模型 内置蒸馏方案，开箱即用 开源资源分散，准备周期长 内置全系模型，一键部署 解决技术问题，体验效果滞后 免费体验，快速验证效果 内置全系模型，一键精调 开源框架繁多，不知怎么选 探索期探索期 TI平台价值 痛点 统一资源纳管，灵活切换 统一资源纳管，灵活腾挪算力 验证效果链路长，耗时久 工具链易上手，快速验证效果 算力空闲情况多，ROI低 蒸馏精调服务部署 痛点 根据业务量探索资源用量 机型差异大，选型难 TI平台价值 配置自主可控，快速验证并发用量 稳定期稳定期 持续升级推理加速，降本增效 TI平台价值 痛点痛点TI平台价值 故障多，无法长时间稳定运行 故障感知修复监控，高可用 业务量变化，服务调整难度大 一键多副本，快速线性扩缩容 细致的资源级权限管控 规模扩大，人物料管理难度高 TI平台大模型 算力投入大，优化成本长期存在 面向实战的精调部署平台 谢谢观看