DeepSeek消费电子行业大模型新型应用最佳实践分享

DeepSeek 消费电子行业大模型新型应用最佳实践分享 陈树荣 腾讯云智能商业化 202503 大模型产业生态图 大模型产业链上的生态，根据大模型生态上不同企业的定位，分成了四个等级的企业： 自研大模型结构的企业 LEVEL1 研发模型结构 研发预训练模型的企业 LEVEL2研发预训练模型 基于自己数据SFT做自己模型的企业 基于开源或者基于国内预训练模型结合自己数据进行微调的企业 LEVEL3基于模型SFT 不用训练，直接调用大模型API的企业 LEVEL4直接调用 国内外大模型百花齐放 国外头部 国内大厂 国内创业明星 全球开源社区 DeepSeek推动国产模型达到新的高度 DeepSeek是“深度求索”开发的一系列人工智能模型。DeepSeek通过持续的技术创新和市场拓展，在自然语言处理和大型语言模型方面取得了显著进展，在国际市场上获得了广泛认可。其中： DeepSeekV3是在148万亿高质量token上完成预训练的一个强大的混合专家MoE语言模型，拥有6710亿参数（激活参数370亿）。作为通用大语言模型，其在在知识类任务（知识问答、内容生成等）领域表现出色。 DeepSeekR1是基于DeepSeekV3Base训练生成的强化推理能力模型，在数学、代码生成和逻辑推断等复杂推理任务上表现优异。 更低的研发成本更高效资源利用 开源模型比肩头部闭源 56MvsOpenAI’s 100M 使用2000GPUs竞品使用 10000GPUs 60指标优于 Llama31Claude35GPT4o 打破大模型技术壁垒 重挫美国科技公司股价，英伟达市值下跌5900亿 人工智能的Sputnik时刻 被美国及其盟友列入各种限制 大模型时代企业AI项目“烟囱式”建设痛点越发严重 智能化趋势下：多品牌多场景下的重复造车轮，导致模型算法和镜像等AI资产管理分散，无法沉淀复用和统一运用。 投资浪费适应性差项目周期长 底层统一上层统一中层异构 业务系统A 业务系统B 业务系统C 业务系统A对外出入口A应用逻辑A算法算力 业务系统B对外出入口B 应用逻辑B 算法算力 业务系统C 对外出入口C应用逻辑C算法算力 统一出入口应用模板（ABC算法池（ABC算力池 AI 治理 AI项目的烟囱式建设 集约敏捷的AI中台式建设 大模型工具链支持大模型研发至应用全栈技术 应用场景 客户业务系统 知识引擎应用 数智人 智能客服 DeepSeek联网助手 文档解析 意图识别 开放 对接 知识问答 知识文档 知识引擎 文档问答 知识摘要 模型服务 知识引擎 大模型API （DeepSeek客户专属模型混元行业模型等） 向量检索 文档拆 分 多轮改写 RAG DeepSeek系列模型 工作流 配置项 联网搜索 模型API 客户专属模型 行业大模型 腾讯云精调知识大模型 混元系列模型 模型API 模型训练平台应用构建平台全链路能力。 提供从训练推理应用的一站式丝滑服务体验 内置DS全系模型 模型部署 DeepSeek系列模型 混元系列模型 客户专属模型 TI平台 大模型广场 一键发起模型部署 服务管理 兼容OpenAI接口规范复刻Deepseel的推理加速能力 推理加速 全面接入deepseek模型 一键发起模型训练 模型训练 DeepSeek模型客户数据大模型精调 解决方案 客户专属模型 训练加速 国产算力适配 计算集群（H20A10等） 高性能计算网络架构 算力 腾讯云TI平台 大模型模型训练和推理开发平台，灵活精调和部署私有DeepSeek 腾讯云TI平台产品核心能力 面向实战的一站式大模型精调部署解决方案 大模型精调快速试一试： AI建模部署 精调训练： 零代码一键部署大模型，网页问答体验推理效果低代码、灵活自定义两种精调模式自由选择 数据训练调试部署应用 数据构建 据 数预置3大类精调数据处理pipeline 中数据标注 心 CV，大模型相 关的标注工具 多种训练工具：具备周期调度能力的可视化建模，低门槛深度学习场景化 训工具，交互式代码开发工具，专业的通用任务调度工具 练分布式稳定训练：支持多机多卡大规模训练，故障自动重启续训 工镜像制作：基于jupyter的高效自定义镜像制作工具 坊训练指标监控：丰富的指标监控及告警，覆盖网络及GPU算力 内置训练加速：全新升级Angel训练框架加速能力，性能提升30 精调数据配比训练：内置100任务类型精调配比数据 分布式推理： 模解决大参数量模型部署，提供超长上下文窗口 型内置推理加速： 部全新升级Angel推理加速能力，加速比可达2倍大模型调用： 署统一的大模型调用API及体验工具，大幅缩短业务 接入大模型能力周期 自研混元大模型 自研行业大模型 AI资产管理 开源大模型 AI框架 Pyspark，pytorchvllm，megatron等 从零训练自主创新的通用大模型 7b13b70b不同参数量级 金融汽车医疗，提升垂类任务性能 支持知识增强、实时更新知识库 Deepseek全系 LlamabaichuanchatglmQwen等 通用训练框架 tritonvllmsglangsdpmml等通用推理框架 资源管理 云服务器 公有云HCC高性能服务器，一键纳管 私有化服务器，支持X86ARM统一纳管 分布式文件存储 公有云分布式文件存储CFSTurbofsGoosefsx 私有化NFS协议存储NASCSP 容器底座 公有云自带容器底座TKE 私有化自带容器底座TCS DeepSeek部署方案 DeepSeek全系大语言模型支持服务部署 DeepSeek全系列 一体化服务管理工具及推理加速能力 核心收益 R1、V3满血版 一体化服务管理工具 Angel 长上下文64128K 并行解码 R1DistillLlama70B 服务管理 指标监控 鉴权限流 流量分配 推理加速 超大模型启动加速 模型量化 R1DistillQwen32B 与运营 实时掌握服务性能、调用量、资源消耗等关键指标 自动调度符算力资源，弹性灵活应对业务峰谷 独享GPU算力集群 R1DistillQwen14BR1DistillLlama8BR1DistillQwen7BR1DistillQwen15B 容器调度 算力调度 HPA扩缩容定时扩缩容组合扩缩容 并行优化 提供多种扩缩容策略，满足不同场景的灵活资源需求 Sampling及batch优化 纳管资源组按量计费算力池 大模型专属GPU算力CPU及传统GPU算力包月独享按需按量 私有API服务调用高并发、高可用企业级鉴权流控 算力投入持续降低 DeepSeek精调方案 DeepSeek全系大语言模型支持SFT DeepSeek全系列 注重灵活性、扩展性的生产级大模型精调工具链 核心收益 R1、V3满血版 R1DistillLlama70BR1DistillQwen32B 全流程训推工具链，注重实战灵活性、扩展性 内置Angel加速能力，切实提升训推效率 训练过程白盒化、资源碎片监控、训练资源调度灵活可配，切实提升资源利用率 满血版模型一键精调 256卡H20 全参SFT 8小时 R1DistillQwen14B R1DistillLlama8B 蒸馏后模型多模式精调 R1DistillQwen7B 全参LoRA双模式 低至1卡A10 R1DistillQwen15B DeepSeek蒸馏方案 DeepSeek全系大语言模型支持SFT 基于TI平台精调工具链，迁移R1高级推理能力至小尺寸模型，以更低推理成本满足垂直场景下的业务需求 在线服务数据构建数据构建数据构建任务式建模模型评测 R1模型部署 内置R1模型一键部署 R1问题清洗 无关数据过滤剔除 R1推理结果生成 R1推理服务调用 构造蒸馏数据集 清洗R1推理结果 蒸馏模型 选择并精调目标模型 效果评估 评估对比模型效果 快速 灵活、易扩展 快速 直观 TI平台的DeepSeek实践 全行业适用、让DeepSeek更好用 启动阶段启动阶段 痛点TI平台价值痛点TI平台价值 不知道怎么基于R1蒸馏模型开源框架繁多，不知道怎么选 内置蒸馏方案，开箱即用内置全系模型，一键精调 开源资源分散，准备周期长解决技术问题，体验效果滞后 内置全系模型，一键部署免费体验，快速验证效果 探索期 痛点TI平台价值 探索期 痛点TI平台价值 验证效果链路长，耗时久算力空闲情况多，ROI低 工具链易上手，快速验证效果统一资源纳管，灵活腾挪算力 蒸馏精调服务部署 根据业务量探索资源用量机型差异大，选型难 配置自主可控，快速验证并发用量统一资源纳管，灵活切换 稳定期稳定期 痛点TI平台价值痛点TI平台价值 故障多，无法长时间稳定运行规模扩大，人物料管理难度高 故障感知修复监控，高可用细致的资源级权限管控 TI平台DeepSeek 面向实战的精调部署平台 业务量变化，服务调整难度大 算力投入大，优化成本长期存在 一键多副本，快速线性扩缩容持续升级推理加速，降本增效 全周期均可切入使用 腾讯云大模型知识引擎 基于大模型应用开发平台，助力客户加速大模型应用落地 腾讯云全栈AI服务上线DeepSeek模型 通过DeepSeekAPI和应用开发平台多级能力，满足用户各类需求 （满血版）（零代码） API服务：面向资深开发者企业开发者 知识引擎应用开发平台：面向初级开发者企业运营 腾讯云DeepSeekAPI服务调用安全、高可用 面向具有一定开发能力的企业资深开发者，期望通过多款原子能力组建专属服务。 可结合文档解析、拆分、embedding、多轮改写等服务进行组装，定制企业专属AI业务。 API服务更稳定、安全、易用；满足大批量使用，可以弹性扩容满足客户需求；支持购买专属并 发； 限时免费试用（2025年2月25日235959前）； 兼容openai的API接口协议，可快速调用体验。 腾讯云大模型应用开发平台“知识引擎” 免部署，分钟级搭建应用 面向具备简单开发能力的初级开发者、企业运营人员。 可通过模型选择、提示词模版、RAG配置能力等加速大模型应用构建，实现与自身业务系统的无缝对接。 国内率先支持DeepSeek满血版私域知识管理实时搜索于一体 分钟级搭建大模型应用 集成私域知识库，让AI更专业，支持 16 复杂图文混排文档解析接入搜狗搜索增强API，一键开关，即可让DeepSeek实时获取互联网最新资讯，提升时效性和回答准确度 腾讯云大模型知识引擎：基于大模型的应用开发平台 聚焦严谨场景，打造大语言模型应用开发平台提供LLMRAG、工作流、Agent多种应用开发方式，来助力企业及开发者，加速大模型应用落地。 代理人辅助 虚拟导游 电子说明书 一网通办 语音助手 应用场景 政务零售 文旅汽车金融 腾讯内部产品合作 数智人 企点客服 腾讯学堂 乐享 应用 标准模式 内置RAG最优流程 工作流模式 指定工作流响应用户对话 Agent模式 调用插件复杂工作流响 应用户对话 官方插件 插件 文档解析混元文生图 自定义插件 原子能力 文档解析多轮改写 文档拆分 重排序（rerank 文档解析拆分入库检索向量化（embedding） 混元大模型 turbo standard large standard256k 腾讯云行业大模型 精调知识大模型多模态大模型 金融教育医学行业大模型 大模型 三方大模型 腾讯云大模型知识引擎：三大应用模式，满足客户多样需求 标准模式工作流模式Agent模式 “RAG：最强知识外挂” “智能生产线” “AI指挥官” 平台内置最佳实践流程，只需导入文档问答对，即可达到更稳定和精确的知识问答效果。适用于企业知识服务、产品咨询等严肃问答场景。 使用指定的工作流来响应用户所有对话。如果你对应用的执行流程，有更加个性化的需求，可以通过工作流，来拖拉拽各种原子能力，编排你想要的流程。 Agent模式由大模型进