全面召回？评估大型语言模型的宏观经济知识

核心观点

本报告评估了大语言模型（LLMs）在回忆历史宏观经济变量和数据发布日期方面的能力。研究发现，LLMs对近期统计数据具有精确的知识，但随着时间推移，性能会下降。报告强调了两种主要的召回错误：将初次发布数据与后续修订版本混淆（跨年份平滑）以及将过去和未来参考时期的数据混淆（年内平滑）。

关键数据和研究结论

• LLMs能够准确回忆失业率和CPI的季度值，追溯到二战时期，但在实际GDP增长和工业生产等波动性较大的系列中表现较差。
• LLMs通常能够准确回忆单个数据发布日期，但在跨系列整合中，它们很可能认为自己掌握了尚未发布的数据。
• LLMs的估计值是参考期内首印值与该参考期内后续修订值的混合，这表明模型对经济状况的回顾性理解不够准确。
• LLMs对数据发布日期的召回也令人印象深刻，但仍然存在噪声；随着考虑更多的时间序列，噪声会不断累积。
• LLMs在用作实时预测器并被评估在知识截止日期之前时会出现问题，因为它们会错误地使用未来数据值平滑地整合到当前估计中，以及将初版值与后续修订值混合。

总结

LLMs在回忆历史经济数据方面具有令人印象深刻的准确召回能力，但它们的错误表明，在用于历史分析或模拟实时预测者时存在一些局限性。LLMs对数据发布日期的模糊知识、对未来数据值的平滑整合以及初版值与后续修订值的混合，都表明前瞻性偏差污染了LLM的预测。