王昕-LLMOps，基于大语言模型构建智能应用的新模式

OpenAI 和 LLM 发展历史：GPT 模型经历了多类技术路线演化，逐步成熟与完善。ChatGPT 所能实现的人类意图，来自于机器学习、神经网络以及 Transformer 模型的多种技术模型积累。
关键技术：Transformer 架构和注意力机制，核心思想是“知识=注意力”，即解码世界的关系，语言世界包含现实世界，一个词/句子的涵义决定于它跟其他词/句子的关系。
大语言模型参数规模：OpenAI 主要的 3 个大语言模型为 GPT-4、ChatGPT（GPT-3.5）和 GPT-3.5，分别适用于不同工作负载和场景。
应用大模型主要的三种技术方式：
- Completion API：通过好的提问引导答案，模型如 gpt-35-turbo, GPT-4。
- Fine-Tuning API：将知识、格式、习惯、风格训练进入模型，模型如 text-davinci-003。
- Embedding API：知识向量是文本的索引，模型如 text-embedding-ada-002。

AI 2.0 爆发点：2023 年 ChatGPT 的全面使用开启了企业应用 AI 的新机遇，标志着 AI 2.0 的到来。
新的开发模式：新的流程意味着新的应用代码编写方式，需要新的开发工具和方式，但同时也面临新的开发瓶颈。
LLM 应用开发框架：企业级直接调用 OpenAI API 可能遇到应用层面的困难，因此需要新的框架，如 LangChain 和 SemanticKernel。
LangChain 模块：
- Models：包括聊天语言模型（如 gpt-35-turbo/gpt-4）、通用 LLM 模型（如 text-davinci-003）和嵌入模型（如 text-embedding-ada-002）。
- Prompts：创建字符串和消息的模板，增加示例和选择示例，解析输出格式。
- Index（External Data）：加载、存储、索引和查询外部数据，包括文档加载、分片、存储、索引和检索工具。
- Chain：涉及一系列调用（无论是 LLM 还是不同的实用程序），提供标准接口和常见应用程序的端到端 Chain。
- Memory：记住以前的交互，适用于聊天机器人等应用。
- Agent：代理工具，如 Zero-shot-ReAct-Description。
- Tools：工具如 BingSearchAPIWrapper、WolframAlphaAPIWrapper 等。
- Callbacks：LLM 启动时、新的 Token 到达时、LLM 结束时的事件回调。

LLM 应用场景：
- 内容生成：机器人语言教师 CoolE Bot，结合语音识别及语音合成技术，产出自然且符合学习者英语程度水平的响应。
- 归纳总结：助写体检报告，一键生成符合健保署规范的三段式报告。
- 代码合成：通过聊天发现数据趋势，使用 GPT-4 提高自助服务报告的功能和可访问性。
更多应用场景：内容生成、归纳总结、代码合成、语义检索。

提示工程：
- 零样本（Zero-Shot）学习：用清晰的提示触发，例如从邮件中提取姓名和地址。
- 少样本（Few-Shot）学习：用匹配场景的示例触发，例如从句子中提取职位。
文本嵌入：将文本编码成实数向量，并存储到向量数据库。
微调：从原型时的大模型逐步降低到大规模生产的小模型，模型并非越大约好，越大能力越强，但速度越慢，价格越高。