人类经验与AI算法的镜像之旅

核心观点

本研报探讨了人类语言理解机制以及AI语言模型的发展历程，重点分析了DeepSeek系列大语言模型的构建与进化，并展望了AI在教育领域的应用前景。

人类语言理解

人类理解语言依赖于大脑中建立的神经连接，通过理解词语含义和词语间关联关系来获取句子意思。语言的精准解译和语义歧义的消解依赖于语境，需要通过整合上下文信息构建语义解析模型。

AI语言理解之路

• 数字化: 计算机通过将信息数字化来处理图像和文本等数据。
• 词向量: 将词语转换为数字向量，并通过向量之间的距离或相似度来衡量词语之间的关系。
• 词向量缺陷: 传统词向量无法处理多义词和上下文依赖问题。
• 注意力机制: 大语言模型通过Transformer架构，为每个词生成上下文相关的词向量，并通过注意力机制融合上下文信息，解决词向量缺陷。

大模型工作原理

• 数学家陶哲轩观点: 大模型不是魔法，是基于概率的猜测机。
• 参数: 大模型通过大量数据的训练来调整参数，蕴含数据的分布规律，从而预测出最合适的下一个词。
• 文字接龙游戏: 大模型回答问题的过程类似于文字接龙游戏，基于前面的话不断生成下一个合成的词汇。

DeepSeek-V3模型

• 配置: DeepSeek-V3有16B，236B和671B三种配置，B代表10亿。
• 训练流程: 包括预训练阶段、指令微调阶段和奖励建模与强化学习阶段。
• 预训练: 通过自监督学习，在句子中挖去一个单词，根据剩下单词的上下文来填空，预测最合适的“填空词”。
• 指令微调: 通过提供用户输入的提示词和对应的理想输出结果，训练模型理解和响应特定任务需求。
• 奖励建模和强化学习: 构建奖励模型评估生成内容质量，并通过强化学习优化生成策略，最大化奖励。

推理模型

• 定义: 能够进行复杂推理任务的大型语言模型。
• 特点: 处理需要多步推导、计算或分析的问题，通常涉及多个中间步骤。
• DeepSeek-R1: 通过有监督微调和强化学习进行训练，但存在可读性差和语言混淆的问题。
• 模型蒸馏: 利用DeepSeek-R1和DeepSeek-V3产生的数据进一步微调小规模LLM，提升模型效果。

AI在教育领域的应用

• 苏格拉底式教学智能体: 通过构建苏格拉底式教学智能体，赋能教与学，实现从知识本位教育向能力本位教育转变。
• InfiAgent推理大模型: 构建苏格拉底式教学智能体，鼓励学生思考与探索，培养学生批判性思维和自主学习能力。
• DeepSeek-R1应用: DeepSeek-R1可用于辅助编程、自动生成PPT、生成图片等。
• 智海-三乐教育大模型: 围绕苏格拉底式教学智能体，构建教与学赋能平台，推动教育从知识本位向能力本位转变。