大语言模型 (LLM) 原理、训练及应用总结
了解大语言模型
LLM，大在何处
大语言模型的“大”主要体现在三个方面：
- 参数数量：参数多意味着模型能捕捉更复杂的模式和关系。
- 训练数据：LLM需要大规模文本数据进行训练，以学习准确的语言表示。
- 计算资源：训练LLM需要大量算力，包括高性能GPU或TPU及分布式环境。
LLM的发展历程
LLM的发展历程可分为几个阶段：
- 早期统计语言模型：基于信息论和概率论，如RNN和LSTM。
- 预训练语言模型时代：2018年BERT的诞生标志着预训练语言模型的开始。
- 生成式AI技术：GPT系列模型进一步推动了生成式AI技术的发展。
LLM的核心应用场景
LLM在以下四大核心能力方面表现突出：
- 内容创作：根据输入生成符合要求的文本。
- 摘要生成：从长文本中提取关键信息并生成简洁摘要。
- 代码生成：生成代码片段，辅助软件开发。
- 语义搜索：理解用户查询的深层含义，提供更精准的搜索结果。
多模态LLM
LLM已拓展到多模态场景，结合文本、图像、声音等多种数据类型：
- 文生图：如DALL·E，根据文本描述生成图像。
- 图片与视频理解：如GPT-4o，能解读视觉内容并生成描述。
- 语音转文字：如Whisper，将人类语音转换成书面文本。
- 视频生成：如Sora，根据文本指令生成场景视频。
训练大语言模型
Transformer网络架构
Transformer网络架构分为Encoder（编码器）和Decoder（解码器），天生支持大参数量，解决RNN训练效率低下的问题。
预训练和微调
- 预训练：需要大量算力和数据，通常数周甚至数月。
- 微调：在预训练模型基础上进行，资源需求显著减少。
- 预训练的必要性：多数下游任务无法仅通过微调解决，需从预训练开始。
筹备训练环境
- 硬件验证：使用perftest和NCCL测试网络和GPU性能。
- 环境选择：本地服务器（如NVIDIA DGX）提供高性能算力，但成本高；云环境（如Azure）灵活且成本效益高。
了解GPT
GPT的优化
优化GPT模型的三种主要手段：
- 提示工程：通过设计精巧的提示操纵模型输出。
- 微调：在特定数据集上继续训练模型，提高特定任务性能。
- 检索增强生成 (RAG)：整合私有或专业领域数据集，扩展模型知识库。
GPT的主要应用场景
- 基于RAG的知识库：通过检索和生成能力处理复杂问题。
- 优化电商详情页：自动完成商品详情页优化，提高产品吸引力。
- 智能体和多智能体：构建通用人工智能系统的基础模块，实现复杂目标。
简单易上手的Copilot
生产力辅助
Microsoft Copilot副驾驶®集成到Microsoft 365，帮助用户提高生产力和技能水平：
- 与Microsoft 365应用程序集成：如Word、Excel、PowerPoint等。
- 基于聊天的界面：在LLM、Microsoft 365应用程序和用户数据之间建立桥梁。
