rStar - Math ： 小题大语建模过从我进化的深度思维思维思维思维

rStar-Math：小型语言模型的自我进化深度思考

核心观点： rStar-Math 是一种基于蒙特卡洛树搜索（MCTS）的自我进化方法，旨在提升小型语言模型（SLMs）的数学推理能力，使其达到甚至超越 OpenAI o1 模型的水平，而无需依赖更强大的大型语言模型进行蒸馏。

关键创新：

1. 代码增强的 CoT 数据合成： 通过 MCTS 生成逐步验证的推理轨迹，并利用 Python 代码执行验证中间步骤的正确性，确保训练数据的质量。
2. 过程偏好模型（PPM）： 引入 PPM 作为奖励模型，通过成对排序损失训练，避免了对精确步骤级奖励分数标注的需求，提高了训练效率。
3. 自我进化配方： 通过四轮迭代，逐步提升策略 SLM 和 PPM 的能力，并扩展训练数据集，以应对更具挑战性的数学问题。

关键数据和研究结论：

• 性能提升： 在 MATH 基准测试中，rStar-Math 将 Qwen2.5-Math-7B 的得分从 58.8% 提升至 90.0%，Phi3-mini-3.8B 的得分从 41.4% 提升至 86.4%，分别超越 o1-preview 4.5% 和 0.9%。
• AIME 成绩： 在 AIME 2024 竞赛中，rStar-Math 平均解决了 8/15（约 53.3%）的问题，超过 o1-preview 8.7%，以及所有开源的大规模语言模型。
• 消融研究： 逐步验证推理轨迹的训练效果显著优于 GPT 蒸馏、随机采样和拒绝采样等基线方法。
• PPM 有效性： PPM 在 System 2 推理中优于结果奖励模型（ORM）和基于 Q 值的过程奖励模型（PQM），成为性能提升的关键因素。
• 内在自我反省能力： rStar-Math 在解决数学问题时表现出内在的自我反省能力，能够识别并纠正错误步骤。
• PPM 塑造推理边界： PPM 有效识别策略模型在深度思考过程中的关键定理应用步骤，引导策略模型生成正确的解决方案。

泛化讨论： rStar-Math 可泛化到更具挑战性的数学任务（如定理证明）和其他领域（如代码和常识推理），具有广泛的应用潜力。

未来工作： 通过收集更多具有挑战性的数学问题，进一步提升 rStar-Math 的性能。