大型语言模型和生成式 AI 角色的基础路线图和面试指南
本文档旨在帮助工程师、研究人员、学生和从业者了解大型语言模型（LLM）和检索为中心的 AI 系统。它涵盖了 LLM 的基础知识、职业发展路线图、架构图、代码示例和生产实践指南。
核心观点：
- LLM 是一种在大型语料库上训练的神经网络，用于预测序列中的下一个标记。
- LLM 不仅仅是生成文本，它还可以嵌入到各种工作流程中，例如分类、检索、摘要、推理和生成结构化输出。
- 理解 LLM 需要掌握其基础知识，例如标记化、嵌入、注意力机制、预训练和模型家族。
- 随着模型变得越来越强大，检索、适应和部署变得至关重要。
- 本文档提供了 151 个面试问题，涵盖了 LLM 的各个方面，并提供了答案提示和面试提示。
关键数据和研究结论：
- LLM 的能力取决于其大小（参数数量、数据集大小和计算预算）。
- LLM 可以分为不同的模型家族，例如自回归模型、掩码模型、生成模型和判别模型。
- 嵌入将离散文本转换为密集向量，以便在向量空间中表示语义相似性。
- 注意力机制允许每个标记根据序列中的其他相关标记进行加权信息路由。
- 预训练目标塑造了模型的自然优势，例如 BERT 风格的目标强调双向表示学习，而 GPT 风格的目标强调下一个标记的生成和开放式延续。
- 检索是 LLM 系统的核心，它将静态模型知识与最新的领域特定信息相结合。
- RAG（检索增强生成）是一种模式，其中系统首先检索相关信息，然后将该信息作为上下文提供给语言模型进行生成。
- 提示是控制 LLM 系统的接口设计，它结构化任务、减少歧义、约束输出并设置模型以有效利用上下文。
- 微调是使基础模型适应特定任务的一种方法，但它存在成本和复杂性方面的权衡。
- 优化和数学基础知识对于理解 LLM 的训练和推理至关重要。
- 生成是 LLM 系统的可见部分，但它依赖于许多隐藏的工程选择，例如解码控制和服务器基础设施。
- 部署 LLM 需要考虑各种因素，例如治理、隐私、偏差、可解释性和成本。
本文档的结构：
- 第一章： 介绍了 LLM 的定义、领域发展、学习路线图和职业发展路线图。
- 第二章： 解释了标记、标记化和上下文窗口的概念。
- 第三章： 讨论了嵌入和语义表示。
- 第四章： 深入探讨了 Transformer 架构、注意力和位置推理。
- 第五章： 涵盖了预训练目标、模型家族和经典比较。
- 第六章： 介绍了使用 LLM 进行分类的方法。
- 第七章： 讨论了主题建模、聚类和主题发现。
- 第八章： 涵盖了检索的基础知识。
- 第九章： 介绍了生产 RAG 架构和基于证据的答案。
- 第十章： 讨论了提示、上下文学习和 LLM 编排。
- 第十一章： 介绍了多模态大型语言模型。
- 第十二章： 讨论了自定义嵌入和检索优化。
- 第十三章： 涵盖了微调、PEFT 和适应策略。
- 第十四章： 介绍了优化和数学基础。
- 第十五章： 讨论了文本生成、解码和大规模服务。
- 第十六章： 涵盖了架构、扩展和实践部署。
本文档的目标：
- 帮助面试候选人理解 LLM 的基础知识。
- 提供面试问题的答案提示和面试提示。
- 帮助候选人展示他们作为能够从第一性原理进行推理、选择正确的工具、表达故障模式和清晰地进行权衡的工程师的能力。
- 帮助候选人了解 LLM 和生成式 AI 领域的最新趋势。
