当大型语言模型发展语言：为高效多智能体推理的符号通信

简介

• 大型语言模型（LLMs）的推理能力可以通过思维链（CoT）和自洽性策略提升，但这些策略产生的自然语言推理链冗长，并非高效的机器推理形式。
• 本研究探讨LLMs能否创造新的符号语言以实现更高效的推理，提出了通信语言符号路由（CLSR）框架。
• CLSR框架允许多个LLM代理自主发明、进化和共享紧凑的语言符号框架（LSFs），并通过一个无潜空间的路由器根据查询自适应地选择和组合这些语言，以优化准确率-标记的权衡。

问题设定与指标

• 目标：在预算内最大化预期正确率，同时考虑预期实现成本。
• 语言符号框架（LSF）：由符号命名、语法和约束组成，作为可重用的推理协议。
• 指标：推理准确率和生成令牌数量。

研究方法

• LSF进化：通过迭代式自举程序，使用训练数据和黑盒LLM调用逐步优化LSF池。
• 测试时LSF路由：路由器根据查询自适应地选择和组合LSFs，实现准确率-标记权衡的优化。

实验设置

• 基准：知识密集型问答、多跳推理等七个基准测试。
• 指标：推理准确率和生成令牌数量。
• 进化自举：通过迭代优化LSF种群，每个进化步骤评估候选LSF，并选择正确且token高效的轨迹。

主要成果

• CLSR在不同骨干网络和基准测试中始终提升了准确率-效率前沿，与Raw CoT相比，CLSR将面向延迟生成的标记完成减少了约6倍，同时保持了准确率。
• 消融实验表明：更深层次的进化世代会系统地将语言推向更好的按token计的准确性；扩大规模代理群体可以提高发现健壮、可重用LSFs的机会。

理论分析

• CLSR将测试时的推理形式化为一个带约束的随机控制问题，推导出最小令牌成本的信息论下界。
• 从社会语言学视角看LSF的演变：成功的语言服务提供商遵循最小努力原则，进化导致常规化，路由实现语用性代码转换。

实验结果

• CLSR在七个多样化的推理基准和多个开源骨干网络上，始终提升准确率-效率前沿，并优于具有代表性的标记减少基线。
• 与程序执行和提示优化方法相比，CLSR在不依赖外部执行器的情况下依然具有竞争力，并改进了针对提示优化的基线方法。

结论与局限性

• CLSR表明LLMs可以发展出面向机器的语言，而这些语言并非由人类手动设计。
• 离线语言进化可能计算成本高昂，合成管道需要用推理内容来训练示例。
• 未来工作应研究符号语言如何在模态、工具和多智能体环境中迁移。