大模型能力技术培训：让数据智能像水电 样简单

大模型能力技术培训让数据智能像水电一样简单

语言模型发展历程

• 上世纪90年代： 语言模型出现，采用统计学方法，使用前面的词预测下一个词。
• 2003年： Bengio提出《A Neural Probabilistic Language Model》，首次将深度学习思想融入语言模型。
• 2018年： Google提出Transformer神经网络架构，并通过大量文本训练理解语言规则和模式。

大语言模型

• 包含百亿或更多参数的语言模型，如GPT-3（175B）、GPT-4、PaLM（540B）、Chat GLM、文心一言、通义千问、讯飞星火等。
• 大语言模型和小语言模型（如GPT2）采用相似的架构和预训练任务，但能力截然不同（涌现能力）。

对技术领域的影响

• 自然语言处理： 理解和生成文本，如意图理解、写文章、回答问题、翻译等。
• 信息检索： 智能检索，改进搜索引擎。
• 计算机视觉： 文生图、多模态交互。

对商业领域的影响

• AI Agent： 数字人、个人智能助理、情感分析师、口语陪练、智能运营助手等。
• 通用人工智能AGI： 大语言模型是AGI的早期形式，引发了对未来人工智能发展的思考和规划。

涌现能力

• 上下文学习的能力： GPT3首次引入，无需额外训练和参数更新。
• 指令遵循： 可以使用指令进行微调，在同样使用指令形式化描述的未见过的任务上表现良好。
• 逐步推理： “思维链”推理策略，可以利用包含中间推理步骤的提示机制来解决复杂推理任务。

大语言模型的优势

• 巨大的规模： 十亿到万亿，能够捕捉更多的语言知识和复杂的语法结构。
• 预训练和微调： 先用无标签数据在大规模文本上预训练，再用有标签数据微调特殊任务。
• 上下文感知： 能够理解和生成依赖于前文的文本内容。
• 多语言支持： 可以构建跨文言和跨文化的应用。
• 多模态支持： 文本、图像、语音。
• 涌现能力： 能用更少的数据处理更复杂的任务。
• 多领域应用： 文本生成、自动翻译、信息检索、摘要生成、聊天机器人、虚拟助手等。
• 伦理和风险问题： 生成有害内容、隐私问题、认知偏差等。

语言模型的目标

• 建模自然语言的概率分布，即计算词序列作为一个句子出现的可能性大小。
• 由于联合概率计算难度大，采用链式法则分解为逐个词生成的过程。
• n元语言模型根据历史单词数量进行分解，但存在数据稀疏、依赖人工设计规则、参数量巨大等问题。
• 神经网络方法可以避免数据稀疏问题，更好建模长距离依赖关系。
• 预训练语言模型（PLM）通过预训练和微调范式，使自然语言处理全面进入新时代。

大语言模型的发展阶段

• 基础模型阶段（2018-2021年）： 主要集中于语言模型本身，包括仅编码器、编码器-解码器、仅解码器等模型结构的研究。
• 能力探索阶段（2019-2022年）： 探索在不针对单一任务进行微调的情况下如何发挥大语言模型的能力，如零样本学习、指令微调等。
• 突破发展阶段（2022年11月起）： 以ChatGPT的发布为起点，大语言模型在多种基准考试测试上的得分高于88%的应试者。

大语言模型的关键技术

• Transformer架构： 核心组件包括词元嵌入、多头自注意力、位置编码、前馈网络等。
• 预训练： 利用海量无标注数据进行训练，获得可以适用于大量下游任务的统一大模型。
• 指令微调： 将大量各类型任务统一为生成式自然语言理解框架，并进行微调。
• 强化学习： 构建奖励模型，模拟人类的评估过程，对模型进行微调。
• 提示学习： 直接利用在大量原始文本上进行预训练的模型，通过定义新的提示函数执行任务。
• 语境学习： 模型可以从上下文中的几个例子中学习，无需参数更新。
• 参数高效微调： 仅训练少量参数使模型适应到下游任务，如LoRA方法。
• 长文本建模： 增加上下文窗口的微调、改进的位置编码、插值法等。
• 分布式训练： 将机器学习或深度学习模型训练任务分解成多个子任务，并在多个计算设备上并行地进行训练。
• 混合并行： 将数据并行、流水线并行和张量并行等混合使用，最大程度地提高计算性能和效率。
• 混合精度训练： 采用FP16或BF16和FP32两种格式的数值，降低内存占用。
• 零冗余优化器（ZeRO）： 将模型状态量分割成多个分区，每个计算设备只保存其中的一部分，减少内存消耗和通信开销。
• 参数服务器架构： 训练服务器和参数服务器协同工作，完成模型参数的更新。
• 去中心化架构： 节点之间进行直接通信和协调，减少通信瓶颈，提高系统的可扩展性。

大语言模型的应用

• 智能代理： 能够接收并处理外部信息，给出响应，主要由思考模块、记忆模块、工具调用模块组成。
• 多智能代理系统： 智能代理之间通过自然语言进行交互，数量优势和质量优势明显。
• 多模态融合： 大规模预训练视觉模型促进了大语言模型和其他模态基础模型的交互融合。
• 智能体程序： 基于大语言模型应对开放世界环境，如Minecraft和互联网。
• 外部工具： 增强大语言模型在特定任务上的性能，如搜索引擎、计算器、编译器等。

大语言模型的推理

• 自回归模式： 每次迭代执行的时间具有确定性，但迭代次数未知，总执行时间不可预测。
• 推理服务系统： 针对生成式预训练大语言模型GPT进行优化，如键值缓存、迭代级调度策略等。
• vLLM框架： 利用PagedAttention注意力算法，有效管理注意力的键和值，提高吞吐量。

大语言模型评估

• 模型评估： 评估模型在未见过的数据上的泛化能力和预测准确性。
• 评估数据集： 训练集、验证集和测试集，评估数据集应相互独立、具有代表性、规模足够大。
• 评估指标： 精确率、召回率、准确率、交叉熵、困惑度、BLEU、ROUGE等。
• 评估方法： 自动评估、人工评估、大语言模型评估。
• 能力评估体系： 以任务为核心的评估体系、以人为核心的评估体系。
• 伦理与安全评估： 典型安全场景、指令攻击方法。
• 复杂推理： 知识推理、符号推理、数学推理。
• 大模型开发： 以大语言模型为功能核心，通过Prompt Engineering实现控制，开发敏捷、灵活。

大模型开发流程

• 项目规划和需求分析： 确定目标、设计功能、技术架构选型。
• 数据准备和向量知识库构建： 文档加载、文档转换、文本嵌入、向量存储。
• 大模型集成和API连接： 集成多种大模型，配置API连接。
• 核心功能实现： 构建Prompt Engineering，实现大模型回答功能。
• 核心功能迭代优化： 验证评估，收集Bad Case，迭代优化。
• 前端与用户交互界面开发： 使用Gradio和Streamlit搭建前端界面。
• 部署测试与上线： 部署到服务器或云平台，进行生产环境测试，上线发布。
• 维护与持续改进： 监测系统性能和用户反馈，定期更新知识库，收集用户需求，进行系统改进和功能扩展。

LangChain框架

• 模型输入/输出（Model I/O）： 与大语言模型进行交互的接口，包括Prompts、Language Models及Output Parsers。
• 数据连接（Data Connection）： 与特定应用程序的数据进行交互的接口，包括Document loaders、Document transformers、Text embedding models、Vector stores及Retrievers。
• 链（Chain）： 用于复杂应用的调用序列，如LLMChain、RouterChain、SimpleSequential Chain、Sequential Chain、TransformChain等。
• 记忆（Memory）： 用于在链的多次运行之间持久化应用程序状态，如ConversationBufferMemory。
• 智能体（Agent）： 语言模型作为推理器决定要执行的动作序列，如Agent Executor、Plan-and-execute Agent、Baby AGI、Auto GPT等。
• 回调（Callback）： 用于记录和流式传输任何链式组装的中间步骤。