腾讯大模型技术进展及能源落地场景

智能绽放创新引领 ——腾讯大模型技术进展及能源落地场景 2024年6月 1 1 AIGC技术发展趋势 目录 2腾讯全面拥抱大模型 3行业大模型应用落地 2 •以Transformer架构为基础的大模型技术取得了重大突破，AIGC技术引领产业创新 •底层算法走向统一使得人工智能平台化成为可能，基础模型正在成为新的操作系统，创新不断提速 •技术趋势：Scalinglaw、多模态、更长上下文、统一架构 大模型 规模可扩展性强 参数规模、计算量和训练数据增加都会带来模型性能持续提升（ScalingLaw） 多任务适应性强 一个模型能同时支持多种任务和多个模态，甚至实现跨模态 能力可塑性强 通过模型微调、思维链提示词等措施即可实现能力进一步增强 3 传统AI 规模增大不能带来性能持续提升 一个模型只能胜任单任务和单模态 模型训练完成后能力无法进一步拓展 4 发展新质生产力， 推动数字化转型持续深入 利用行业领先的数字化解决方案，重塑员工和运营组织，优化用户体验，构建新的增长方式、提升竞争优势 体验 营销体验 服务体验 产品体验 •洞察客户需求、优化用户体验 创新 新产业 新架构 新动能 •发展新质生产力的核心是“创新” 质优 高质量 高效能 高科技 高回报 •实现新质生产力的关键点是“质优” 模式生态构建能力 商业构建能力 全业务数字化 数据驱 动业务 AI驱动决策 •同业中提高优势、产业链中培养伙伴 交互模式重构  AIGC改变未来工作方式，员工广泛应用AI代理将成为新常态，加速人机协作时代的到来 企业将利用分析大量客户数据的能力来创建动态、实时和量身定制的体验、产品、服务和沟通方式  业务应用重构 大模型应用开发平台主要创新方向是降低应用门槛，帮助开发者和企业快速搭建AI原生应用 智能体应用范式已形成共识，Agent架构逐步清晰，整合搜索、记忆、控制和工具调用等能力，有望成为大模型主要应用形态 基础设施重构  基础大模型：主要互联网厂商均已提供标准化套件服务，覆盖模型全生命周期 AIInfra：大模型训练需要大量算力、网络、存储资源，支持国产化、异构算力调度 从关注模型本身...到关注模型业务场景应用 5 •更大的模型参数规模 （千亿、万亿参数） •大模型的构造、结构、训练参数、训练数据 •大模型本身的交互能力、回复内容专业度 •大模型多以体验式的文本对话形式应用 •应用架构面向过程，以人为中心，AI为辅助 •更小的模型参数规模 （百亿、十亿参数） •基于开源大模型结合业务场景数据的的精调SFT •大模型结合外部知识库的内容查找、增强搜索，以及外调接口能力 •定制型的业务环节集成，结合智能体、外部工具等形式成为智能助手 •应用架构面向目标，以AI为中心，人为辅助 6 AIGC发展面临挑战 目录 1AIGC技术发展趋势 2 腾讯全面拥抱大模型 3行业大模型应用落地 7 腾讯云智能在计算机视觉、智能语音、自然语言处理、机器学习等领域已取得多项技术突破，持续推动前沿技术的产业落地。下设多个人工智能实验室。腾讯优图实验室多次在人工智能国际权威比赛中创造世界纪录，腾讯AILAB、微信智聆等团队协同深耕AI语音及语义能力，多次在国际国内比赛中拔得头筹。 计算机 视觉 文字 识别 语音识别 语音合成 自然语言 处理 机器 学习 8 5000+项 AI相关专利 800+篇 论文入选IJCA/CVPR/ICASSP/ACL 等全球顶会/期刊 双赛道冠亚军 图像匹配技术CVPR2021ImageMatchingWorkshop 全球第一 神农”多语言预训练模型获得国际权威榜单XTREME总榜及全赛道全球第一 中英新闻翻译第一 WMT2021中英文新闻翻译评测 四项国际第一 国际顶级图学习榜单OGB上，获得图属性预测赛道Ogbg-molhiv、Ogbg-molpcba等全部四项榜单第一 冠军及最佳创新奖 ICCV2021LVISChallengeWorkshop Text2SQL榜单第一 CoSQL、Sparc数据集荣登Text2SQL榜单第一 9 冷启动全链路自研究 数据、模型、策略和架构 从训练数据、模型架构、训练策略，训练框架，软硬件体系等多个方面切入，提出了有特色的自研方案，从零开始训练 模型覆盖多个领域 解决多领域任务 数学、编程、网络安全和搜索等，去适配各特定场景的需求，并结合垂直领域的数据，完成领域专属模型的落地 •提供不同尺寸的选项，覆盖不同场景，提供针对业务应用落地的最优性价比的推理解决方案 领域模型 搜索增强 .. . 通用模型 176B ... 多尺寸全系列稠密模型 .. . 图 3D 视频 HunyuanMoE 预训练数据Courpus1.0 数据清洗 数据选取 数据获取 金融模型 医疗模型 代码模型 模型体系 包含全尺寸多个版本 腾讯混元通过采用混合专家模型(MoE)结构， 已将模型扩展至万亿级参数规模，推动了 性能提升和推理成本下降。在中文表现尤其是文本生成、数理逻辑和多轮对话上性能表现卓越，整体处于业界领先水平 •突破模型规模和性能天花板，寻求兼顾模型能力和资源利用效率的更佳方案 10 领先基础设施 服务器 腾讯云星星海自研服务器 算力平台 腾讯云高性能算力集群性能提升倍 高速网络 自研星脉高速网络 通信带宽 倍通信性能提升 AngelHCF推理框架 推理速度相比业界主流框架提升 倍 精调及强化学习 改进注意力机制开发思维链新算法 创新大模型训练 预训练 从零启动训练 优化预训练算法及策略 自研机器学习框架 AngelPTM训练框架 训练速度是业界主流框架的 倍 围绕大模型的生命周期，根据不同阶段的风险制定对应安全防护措施，全方位保障大模型数据和应用的安全。 模型架构泄露模型参数泄露 推理部署 训练数据泄露训练代码泄露 模型训练 业务阶段 可用性风险 应用攻击风险 DDoS攻击造成服务中断、性能下降 API越权访问风险API命令注入攻击敏感数据泄露 业务应用 安全风险 模型输入安全 全风险 内部横向移动风险漏洞入侵风险钓鱼攻击风险弱密码风险 基础设施 基础服务组件/AI组件风险后门植入风险 账号盗用风险未授权访问风险 安安全合规风险 提示注入风险数据投毒风险 安全隔离专区 敏感数据防外传/防删除 数据独立隔离存储 主机操作审计&监控 模型输出安全 黄色、暴力、涉恐等违法违规内容泄露个人隐私 大模型滥用风险 API 安全防护 DDoS 攻击防护 Prompt安全检测 内容安全过滤 安全防护 主机安全防护 云原生微隔离代码安全扫描账号风控安全Web漏洞扫描 数据库访问控制 数据加密防篡改内外部安全众测蓝军攻防演练大模型威胁情报 核心技术 模型引擎机器学习密码学技术图计算分析敏感数据识别主机/容器安全攻防对抗 11 11 12 业务名称业务场景 混元助手对话聊天，灵感获取 腾讯文档内容创作、润色、改写；表格公式生成、数据分析 腾讯会议AI小助手：会议纪要、总结、待办及问答 腾讯广告商业内容理解，广告推荐，特征挖掘，文生图搜一搜内容理解、排序策略优化 信安内容安全审核 工蜂Copilot代码补全&生成、软件开发智能辅助企业微信邮件创作、改写、润色 腾讯客服智能客服问答 12 腾讯游戏游戏NPC智能对话、剧情设计FiT金融金融安全审核 腾讯云平台内容/文档翻译纠错 业务名称业务场景 腾讯视频剧本审阅 腾讯新闻内容制作、识别、审核QQ聊天助手内容改写润色 腾讯地图智能化服务 微信支付智能问答助手 帮小忙文档理解、问答 腾讯公益公益项目合理性评估腾讯乐享AIGC场景探索 订阅号文章创作、润色 成长守护智能接入助手 腾腾会 员 讯开会 会议纪要 的 工 待办 事项 一天 日报数据 报告 周报分析 设计&代码 需求文档 创意设计 代码编程 BugFIX 复盘工作 总结总结 知识 培训分享 学习 分析书写 数据 图表处理 维度分析 13 13 14 助力打造AI小助手，会中问答、会议摘要、会议待办项尽在掌握 15 大模型加持提升目标 基于表格内容生成图表 精通数百种Excel公式 一键生成标准格式文件 数十种文本创作场景 •文本创作 遵循用户指令，进行各种场景的文本创作 •文本编辑 对已有内容进行续写、润色、校阅、翻译和总结 •表格公式生成 15 支持自然语言生成250+内置函数 企业一线员工往往存在大量写作诉求，包含工作记录、会议纪要、工作规划、工作总结、合同等。输入法结合大模型，可在腾讯文档、WPS文档、Word文档等多个应用内快速生成写作内容。 智能纠错：自动识别写作文档中错别字，并提示纠错。 文本润色：短语润色、句子改写与扩写，使整个句子表达更加精准生动 16 16 主题写作：对话形式发送写作指令零门槛使用，使用自然语言发送指令，无需复杂配置深度理解意图。 17 Chain Prompt Embedding 对话模型 对话平台 开发专家 推荐提问 技术对话 过滤 18 语音输入 模型识别和计算 返回结果和推理过程 切换为表格 切换为饼图 19 AlCopilot、文档问答、写作助手入口统一素材知识点智能生成：关键信息抽取，呈现核心要点 素材介绍智能生成：核心内容提炼，一键总结精华 考题智能生成：智能文生题，丰富题型一建生成 AI文稿：智能音转文，支持多种语言 20 混元DiT，业界首个中文原生的DiT架构文生图开源模型，支持中英双语输入及理解，拥有15亿参数，为中文AI创作开启了全新纪元 21 海量文件无从入手 老员工退休，知识失传 一项研究表明：员工每天要花2.5小时回答蠢问题！ 22 23 更精准的客户意图识别更精准的商品概念网络更精准的广告投放匹配 价值维度 传统模型 混元大模型 增长 概念关联精准率 55% 80% 25% SPU兴趣覆盖 12% 32% 20% 目录 1AIGC技术发展趋势 2腾讯全面拥抱大模型 3 行业大模型应用落地 24 腾讯提供一站式大模型工具箱，助力企业管理、服务、生产效能提升 应用场景 研发提效 生产提效 HR/财务/运营 协同办公 客户服务 大模型PaaS层 知识引擎 aPaaS 开放接口知识库问答知识摘要 文档问答标签分类 iPaaS 文档解析多轮改写向量检索 iPaaS 文生文、文生图、文生视频 （混元/行业大模型） RAG精调知识大模型客户私域知识 模型 模型模型 大模型工具层 TI平台行业大模型客户数据大模型精调 解决方案 客户专属大模型 25 行业大模型医学行业大模型 金融行业大模型 教育行业大模型 能源行业大模型 … 大模型无监督：百G文本 MaaS层 基础大模型腾讯混元大模型… 算力 TCE云平台 异构计算集群CPU/GPU/TPU··· 高性能存储 文件存储/对象存储/块存储··· 高性能RDMA网络eRDMA、IB··· 基础设施 平台能力 应用能力 大模型知识引擎，下一代的企业知识管理工具 覆盖大模型开发各种知识应用的常见模式、工具、流程，弥补大模型到应用构建间的缺口 更易用的工具链：接入门槛低、配置工具完善 开放模型配置、知识配置等配套工具链，提供最小的必要输入即可获得最佳效果，支持测试-修正-发布-反馈增强的一站式流程 开箱即用的应用类型（应用中心）灵活定制的接口服务（原子能力中心） 知识问答类 知识库问答文档问答 知识总结类 知识摘要标签分类 文档解析向量检索多轮改写 应用配置知识库管理应用评测审核发布数据看板运营调优 大语言模型 更专业的效果：擅长多模态知识处理和行业场景化知识理解、打通落地的最后几公里知识 应用 使用OCR、LLM+RAG、MLLM等多种技术能力，擅长处理企业级多模态复杂知识，基于混元大模型技术及多行业丰富高质量数据训练，具备更好 的行业知识处理能力 知识处理（RAG） OCR解析 LLM生成 （行业大模型） 复杂知识导入 用户que