人类语言通天塔的建成
- 核心观点：人工智能，特别是自然语言处理（NLP）技术，正逐步实现人类语言与机器理解的“通天塔”，标志着从感知智能走向认知智能的跨越。
- 关键数据：以GPT-3为代表的模型拥有千亿级参数，通过大规模预训练和微调技术，适应多种下游任务。
- 技术原理：自学习、预训练、生成式AI，特别是自回归GPT系列模型，通过预测下一个词（next token prediction）实现语言理解。
人工智能当代简史
- 三次AI革命：
- 11年前：第一次AI深度神经革命，聚焦感知，依赖带标大数据有监督训练。
- 5年前：第二次AI深度革命，NLP大模型（LLM）为旗帜，依赖自监督预训练，实现从感知到认知的跨越。
- 半年前：第三次AI革命，以ChatGPT为里程碑，搞定自然语言交互，实现机器迁就人的结果。
- ChatGPT的影响：
- Zeroshot/零样本：不依赖标注大数据，克服知识瓶颈。
- 人皆码师：码农、产品经理/CXO、数据分析员、用户群体均可通过LLM进行交互。
- 语言通天塔：机器理解人类语言，实现实体交互方式的革命。
NLP“核爆炸”及其影响
- 新生态建设：
- GPT洗礼后的新生态：语言大模型搞定人类语言，机器迁就人而非人迁就机器。
- ChatGPT的里程碑：标志感知智能走向认知智能，语言+知识结合，LLM CoPilot落地，AIGC前景广阔。
- 用户接口：交互克服人工智能的“智障”，LLM Agent研究值得关注。
大模型时代的挑战
- 模型痛点：
- 幻觉问题：模型说谎不“脸红”，真假莫辨，加大模型不能根治。
- 稳定性问题：模型生成结果不稳定，加大模型可缓解但不能根治。
- 知识欠缺问题：模型不是数据库，序列数据预训练的边界，垂直领域知识短板。
- 领域落地的挑战：
- 插件与外挂：谁调用谁，领域数据库、业务逻辑、私有数据。
- 自主AI研究：Agent与现有领域Legacy系统的关系。
大模型时代的焦虑
- 架构师/工程师焦虑：工作被取代、艺术被颠覆、知识更新跑不赢知识增长。
- NLP老司机的焦虑：专业经验可能成为负资产。
- 普罗的焦虑：AI系统涌现，资源爆发，AI日新月异。
“幻觉”与“不稳定”的解读
- 幻觉：是LLM内在feature，不是bug，源于数据，高于数据，抗噪=遗忘细节，是遗忘不是“说谎”。
- 不稳定：是LLM内在feature，不是bug，有利于艺术创造，但也是领域落地的命门，多次生成可缓解。
知识欠缺的解决
- LLM不是数据库：序列数据预训练的边界，垂直领域知识短板。
- 专家坐台的打造：LLM既是后台又坐前台，业务逻辑、提示工程、传统领域数据库、知识库、术语词典、知识图谱向量数据库。
大模型预训练及其微调机制
- Transformer架构：完全基于注意力机制，擅长对序列数据中的长距离依赖进行建模。
- 参数（权重）：大语言模型本质是包含大量参数的神经网络，权重在训练过程中被调整。
- 大模型之预训练：Foundation Model通过大规模宽泛数据训练，适应一系列下游任务。
- “预训练+微调”范式：提升模型通用性，微调方式为任务对齐，基于人类反馈强化的训练：偏好对齐。
“序列猴子”大模型及其AIGC产品矩阵
- 出门问问大模型：序列猴子，通过海量文本序列训练，练就有智能的“序列猴子”。
- 面向创作者的应用：
- 超奇妙元：AI数字分身，制作数字人视频和直播。
- AIGC产品内测探索通道：奇妙文、魔音工坊、奇妙元、言之画、魔法小问。
- 企业专属大模型定制：提供企业专有数据、模型定制、参数调优、私有化部署服务。
商业模式
- 前沿动态/商务合作：公众号：飞哥说AI。
- 大模型招聘：LLM@mobvoi.com。
