大语言模型能力来源与边界

大语言模型语言核心区与维度依赖

• 国际上首次提出大语言模型语言核心区和维度依赖理论，可有效指导大模型训练过程。
• 修改语言核心区或非核心区参数对模型性能影响显著，例如修改核心区1维参数10倍会导致模型完全混乱（PPL 376079936），而修改非核心区LayerNorm参数10倍仅略微影响性能（PPL 5.914）。

大模型能力边界

• 当前大模型仍处于知识记忆层级，无法完成真正的“理解”与“推理”。
• 高考数学测试显示，大模型平均分仅25%-70%，填空题表现更差，且正确答案的计算过程与结果常不一致。
• 美国数学奥赛测试表明，大模型几乎未学会数学证明。
• 归纳推理能力测试显示，模型在任务复杂度增加时准确率接近0。
• 工具调用评测（RoTBench）表明，变形数据会导致GPT-4准确率大幅下降。

大模型能力来源

• 知识记忆概率可直接通过训练语料统计计算。
• 有监督微调阶段仅需少量数据（60条以内），且不同LLMs数据需求差异巨大。
• 微调阶段使用记忆水平较高的数据可提高模型表现。
• 预训练模型参数与SFT模型关联密切，低记忆水平数据微调会大幅改变模型参数。
• 多样性对SFT训练影响显著，数据多样性评价指标与模型效果相关。

推理能力的来源

• 推理能力并非仅来自强化学习，认知行为（验证、回溯、子目标设定、逆向链式推理）是关键。
• 行为启发和错误示例能有效提升模型推理能力，表明认知行为而非正确答案才是关键。

Aha Moment与涌现

• Aha Moment并非真正的“涌现”，可能是特定训练方法（如问题-答案文本连接预训练）导致。
• Qwen2.5-Math模型在不使用模板时表现最佳，表明预训练方法影响模型能力。

大模型能力来源总结

• 一切能力均来自预训练+后训练，预训练使模型记忆知识并学习语义分布表示，SFT激活预训练能力，RL用于所有生成式任务。
• 大模型可快速在多任务上达到70分，但完成90分十分困难，仍是统计机器学习，需场景选择。

几点感想

• 大模型可快速在多任务上达到70分，完成90分困难，不要神话和拟人化大模型，积极拥抱AI需选择合适场景。