6-3 大模型推动的人机交互对话 - 鲍思琪_百度自然语言处理部

对话系统概览

• 任务型对话系统：完成特定任务，如定闹钟、播放歌曲等。代表性产品：Apple Siri、Amazon Alexa、百度小度。
• 开放域对话系统：在开放领域内进行有意义的对话。代表性产品：Google Meena、Meta Blender、百度PLATO。

端到端对话生成

• 网络架构：采用编码器-解码器结构，编码器用于编码对话上下文，解码器生成对话回复。
• 训练语料：使用人人对话语料进行训练。
• 训练目标：最小化负对数似然损失。

开放域对话面临挑战

• 内容空洞、缺乏信息。
• 知识滥用。

百度PLATO

• 特点：基于隐变量的预训练对话生成技术，融合知识的弱监督对话生成模型，实现了开放域下更合理、更多样化的生成，提升了对话丰富度和知识准确率。
• 效果：在DSTC-9三个赛道六个任务中取得了五个冠军。

PLATO-2

• 网络规模：16亿参数，32层。
• 训练语料：深度清洗后的中文语料12亿（千亿级Token），英文语料7亿（千亿级Token）。
• 效果：对话丰富度和吸引度表现良好，在多个对话评估中优于其他模型。

融合外部知识

• 挑战：大规模对话语料缺乏外部知识选择的标签信息。

PLATO-KAG

• 特点：通过联合优化实现知识选择与基于知识的回复生成的一致性，端到端优化提升回复对知识的利用能力。

对话大模型落地应用

• 挑战：推理性能优化、计算精度优化、对话安全性。
• 解决方案：推理性能优化、计算精度优化、语料深度清洗、安全判别模型、维护关键词表、对抗攻击训练。

展望

• 未来方向：连贯、流畅、丰富、跨领域的对话能力，领域内问答、特定任务处理等。