阿里巴巴-赵中州-通义AIGC-传媒领域下内容生产到消费的全链路技术实践

通义AIGC落地探索： 传媒领域下内容生产到消费的全链路实践 赵中州 阿里云飞天实验室 www.top100summit.com 讲师简介 赵中州 “•阿里云飞天实验室大模型商业化、数字人内容与互动算法负责人 •十余年人机交互领域经验，阿里小蜜与智慧数字人创始成员在人机对话系统、多模态交互、AIGC等领域有丰富经验 ” •带领团队在相关领域顶会发表论文三十余篇，落地业界首个超过真人转化的电商虚拟主播、首个支持双向交互的手语数字人、首批大模型落地解决方案 新一轮人工智能产业革命，大模型引领行业应用百花齐放 MaaS(ModelasaService) 以模型为中心的开发范式 传媒 智能检索消费者洞察智能制造智能办公智能推荐 内容生产 自动驾驶 智能辅导 智能问诊 … 辅助生成零售客服虚拟换装政民咨询 行研分析 智能角色 车载助手 学情总结 智能随访 … 行业应用解决方案 大模型MaaS服务 并行计算加速融合算力调度机器学习平台大模型训练大模型服务 弹性计算 智能计算 存储 网络 安全 数据库 大数据 大模型时代的基础设施 零售制造 政务金融 游戏汽车 教育医疗… 公共云专有云 280万+1亿+720亿 共同繁荣大模型生态发展 社区开发者模型下载量 参通义千问开源数 www.top100summit.com www.top100summit.com •内容多样化和传播性->有深度有广度 •事件实时跟踪和精准表达->准确实时 •主流价值观、正确导向->安全稳定 •策采编发运全链路协同->可控可干预 传媒领域AIGC的期望与挑战 内容介绍 •预训练阶段的数据问题 •指令微调阶段的专业问题 •反馈对齐阶段的成本问题 •上线应用阶段的协同问题 基础大模型GAP分析 •数据增强 •事实增强 •推理增强 •可控增强 四步骤落地最后一公里 www.top100summit.com 大模型时代下的传媒行业（理想） 在传媒行业，AIGC生产力演进呈现以下特点： 数据驱动修正经验主义 内容产量 智能生产大幅提升效率 智能要素的注入与运用 受AI技术成熟度所限制受内容质量所限 加速多媒体整合与融合 受产能所限 PGCUGCAI辅助生成AIGC 单一用户体验小范围多用户体验大范围多用户体验元宇宙多用户体验 AIGC，让传媒行业从“数字化”快速走向“智能化” 基础大模型在解决专业问题时依然面临挑战（现实） 新闻场景的要求： •事件明确：要求能够还原事件的准确的信息（包含人物、时间、地点、 主要矛盾、冲突等） •观点鲜明：在事件之上能够明确的表达观点和态度(立场正确，态度可控，口吻多样，观点丰富) www.top100summit.com 基础大模型在解决专业问题时依然面临挑战 帮我围绕“国泰毛毯事件”写一篇评论分析文章 策：受众分析、角度定位…采：报道、会议、史料…编：结构、风格、篇幅…发：时间、渠道、传播语… 正文：“如果他们不会说毛毯的英文，那他们就不配毛毯。”有网友日前在社交平台发帖 称，在搭乘国泰航空CX987航班时… 更懂你的业务 BasePre-trainLLM InstructiontunedLLM DedicatedLLM www.top100summit.com 帮我围绕“国泰毛毯事件”写一篇评论分析文章 你难到我了 实际的业务需求不止于此 中国的首都在哪里？中国最大的城市是哪个？ 中国的人口有多少？ 但可能不是想要的结果 白日依山尽黄河入海流 突出的预测生成能力 中国的首都在哪里？中国的首都是北京 更对齐 (helpful,honest,harmless) www.top100summit.com ReinforcementLearning •不稳定，难以掌握，标注成本高 •对齐维度有限（有益/诚实/无害） •对齐不专业（主观性/粒度粗/非专家） 8卡A100 天级别训练 8卡A100 天级别训练 强化学习 最大化reward的token序列生成 分类器预测reward ~1万-10万Prompts ~10万-100万排序标注 结合大模型训练过程的挑战分析 训练阶段 数据集 算法 算力消耗 领域GAP Pretraining 语料过时、有错误、权威性差，专业内容覆盖有限 千卡A1002个月左右训练 大语言模型预测下一个token 千亿~万亿token互联网公开语料 SupervisedFinetuning •任务专业度不足 •未结合实时信息 •端到端过程不可控 8卡A100 天级别训练 大语言模型预测下一个token ~1万-10万标注数据 （prompt,completionpair) RewardModelling 参考：AndrejKarpathy'sKeynoteatMicrosoftBuild2023 www.top100summit.com LLMPoweredAutonomousAgents:https://lilianweng.github.io/posts/2023-06-23-agent/ 解决实际问题需要一套复杂系统和大模型配合 大模型需要上下游的能力串联解决实际场景问题 1.理解能力 2.生成能力 3.推理能力 大模型的关键优势 1.数据+指令 2.记忆(上下文、用户画像) 3.函数(外部系统交互） 用好大模型的依赖 领域大模型+系统解决方案支撑传媒全链路落地 行业目标 策采选编发馈 环节 解决方案 专业数据结合 内容生成 文体构建 内容质量 态度立场 真实性 及时性 多样化 观点表达 内容安全 准确可溯源 主流化 态度鲜明 公开数据 私域数据 新闻报道 央媒数据 主流媒体报道官方评论文章 ……. 采访素材 精标数据领袖金句内部规章 ……. 行业模型 系统级解决方案 行业技能+领域数据 知识增强+搜索增强+编辑反馈 基础模型 基础技能+通用数据 www.top100summit.com 数据增强 事实增强 推理增强 可控性增强 细粒度对齐算法多样化数据增广自动化评估过滤 外部检索增强主题/切入对齐 推理可解释多专家蒸馏 干预可控结构可控安全可控 构建思路 核心优势 大 模数据清洗 型构 建评估打分 素材补充知识对齐 传媒大模型 数据精洗 比例调整 www.top100summit.com 反馈对齐 模型训练 数据增强：知识对齐的Cycle-Instruction www.top100summit.com 正向样本构建 基于SelfInstruction构建包括如分类、抽取、润色、摘要等任务的SFT数据，提升模型在传媒领域的指令理解能力，缓解新闻领域相关的通用技能遗忘问题 Wang,Yizhong,etal.Self-Instruct:AligningLanguageModelwithSelfGeneratedInstructions.Dec.2022. 反向样本构建 基于InstructionInduction新闻反向生成instruction，提升模型写作的文风和文体的专业度，对齐已有范文保障数据质量 ZhouY,etal.Largelanguagemodelsarehuman-levelpromptengineers 事实对齐与比例控制 结合不同数据源和不同维度数据，还原写作中的原始素材，避免事实类内容无中生有 多源知识对齐 DocumentsWebsitesAudiosandVideosPDF/Word/TXTToText 常见误区 事实增强：生产级RAG需要什么 Database RetrievalAugmentedGeneration Building AlsoImportant Query SplitChunk ChunkEmbeddingVectorDB Expansion •Embedding+向量数据库=RAG? •提供给LLM的输入信息越长越好？ •问答效果核心取决于LLM的性能？ QueryRewrite SparseRetrieval ChunkRetrieval Query Ranking Queryembedding LLM Summary QueryQuery www.top100summit.com 推理增强：多粒度知识对齐 逻辑蒸馏：CoTDistillation 基于千亿级MOE多模型，结合领域专业维度及范例，拆解思考过程与校验逻辑，增强领域模型推理效果 逻辑迁移：CoTTransferring 复用开放域多步推理样本（数学、代码、分析等） "human": 一块7英尺的木板。9英寸长分成3等份。每个部分的长度是多少？\n选项：\n(A)31英寸\n(B)32英寸\n(C) 33英寸\n(D)34英寸\n(E)35英寸让我们先想想。意识流： Assistant:好的，经分析：7英尺9英寸是84+9=93英寸。所以93/3=31英寸或2英尺7英寸。 •切入视角 •文章脉络 •内容要素 •结构组织 •… Human:一块7英尺的木板。9英寸长分成3等份。每个部分的长度是多少？\n选项：\n(A)31英寸\n(B)32 英寸\n(C)33英寸\n(D)34英寸\n(E)35英寸让我们先想想。意识流： 好的，经分析：7英尺9英寸是84+9=93英寸。所以93/3=31英寸或2英尺7英寸。请依照分析结果推理出答案。","assistant":"所以，答案是（A）。"] ["system":"","human":"先给出意识流再给出最终答案。如果1卢比在40年内产生9卢比，求单利？\n选项：\n(A)221/8%\n(B)223/2%\n(C)281/2%\n(D)221/2%\n(E)321/2% Assistant:好的，经分析：9=(1*40*R)/100\nR=221/2% Human:先给出意识流再给出最终答案。如果1卢比在40年内产生9卢比，求单利？\n选项：\n(A)221/8 %\n(B)223/2%\n(C)281/2%\n(D)221/2%\n(E)321/2% 好的，经分析：9=(1*40*R)/100\nR=221/2%请依照分析结果推理出答案。 www.top100summit.com Liu,Weize,etal.Mind’sMirror:DistillingSelf-EvaluationCapabilityandComprehensiveThinkingfromLargeLanguageModels.Nov.2023. "assistant": 最终答案：（D）。 开源推理任务复用 可控性增强：长文写作下的复杂指令遵循 大纲可控率低，基于大纲生成的文章差，在结构和一致性上不满足大纲要求 多样化学习 数据的单一性会使得模型更关注输入素材，难以建立大纲与正文的关联，通过相同输入下的不同写作框架样例来强化模型的一致性 对话式学习 对齐式学习 www.top100summit.com 在生成每一段大纲下内容时能够将大纲信息进一步提示，从而防止模型由于context太长导致的遗忘。 文章生成强对齐 【中国高新技术产业发展面临的挑战和压力】我国经济转型升级面临着一系列挑战和压力... 【国家税务总局制定的全流程服务政策的核心理念】全流程服务政策的核心理念是... 【全流程服务政策的具体内容和目的】具体而言，即通过事前精准宣传、事中辅导办理和事后回访答疑的方式... 【全流程服务政策在xx、xx的成功实施情况】以内蒙古鄂尔多斯达拉特经济开发区为例... 【全流程服务政策对高新企业转型升级的意义和作用】全流程服务政策的实施，对于高新企业的转型升级具有重要的意义... 【全流程服务政策实施中面临的挑战及解决办法】然而全流程服务政策的实施还面临一些挑战。首先，税务部门需要加强对政策的解读和培训... 通过构造多轮训练范式，合并大纲生成及 following写作任务，增强任务连贯性 大纲