本文评估了大型语言模型（LLMs）在估计历史宏观经济变量和数据发布日期方面的能力。研究发现，LLMs 对近期统计数据的记忆非常准确，但随着时间推移，其表现会逐渐下降。文章重点指出了两种主要的记忆错误：将初次发布数据与后续修订数据混淆（即跨版本平滑），以及将过去和未来参考期的数据混淆（即版本内平滑）。此外，LLMs 通常能够准确回忆单个数据发布日期，但跨系列汇总显示，在任何给定日期，LLMs 可能会认为其掌握了尚未发布的数据。研究结果表明，虽然 LLMs 具有令人印象深刻的记忆能力，但其错误表明在用于历史分析或模拟实时预测者时存在一些局限性。
研究发现，对于某些变量，LLMs 的记忆能力惊人。所关注的 LLM——Claude Sonnet 3.5——能够以相当高的准确性回忆失业率和 CPI 的季度值，追溯到二战时期。然而，在更易波动的实际活动系列（如实际 GDP 增长和工业生产增长）上，LLMs 的表现要差得多。LLMs 似乎遗漏了这些系列中的许多高频波动，尽管它确实捕捉了商业周期的变化。
聚焦于 GDP，研究开发了证据表明，LLM 的估计是参考期内初次发布值和该参考期内后续修订值的混合。这种跨数据版本平滑似乎无论我们要求 LLM 提供初次发布值还是完全修订值都会出现。LLMs 受训于海量的数据，并且——除非语料库的每个部分都明确标注了日期并且该信息通过训练过程嵌入到模型权重中——否则它不会总是清楚文本的编写时间或它所指的 GDP 版本。初次发布数据和完全修订数据的混合是有问题的，因为它意味着（1）模型对经济情况的回顾性理解不够准确，并且（2）模型将难以模拟实时预测者。
研究还发现，LLMs 通常可以准确回忆单个数据发布日期，但跨系列汇总表明，在任何给定日期，LLMs 可能会认为其掌握了尚未发布的数据。研究结果表明，LLMs 的记忆错误与参考日期后的信息相关。这些模式表明，在使用 LLMs 时，前瞻性偏差可能是一个重要的挑战。
研究评估了 LLMs 回忆重要宏观经济统计数据的能力。研究发现，LLMs 对某些宏观经济变量（如 CPI 和失业率）的回顾性知识非常准确，但对 GDP 和 IP 增长的了解则要嘈杂得多。LLMs 对数据发布日期的记忆也令人印象深刻，但仍存在噪声；随着考虑更多系列，噪声会累积。研究结果表明，当 LLMs 作为实时预测者使用并被截止日期前评估时，会出现问题。数据发布日期的模糊知识、LLM 估计将未来数据值平滑到当前估计中，以及初次发布值与后续修订值的混合，都表明前瞻性偏差污染了 LLM 的预测。这引发了这样一个问题：如果 LLMs 存在显著的前瞻性偏差，为什么 LLM 预测只比 SPF 预测略好？研究证据表明，LLMs 可能既太好又太差：导致前瞻性偏差的模糊性和不完美记忆也限制了预测精度，因为 LLM 对真实目标值和历史可能用作预测变量的变量的记忆有限。这些相互抵消的错误可能使 LLMs 的样本内预测良好，但并不令人难以置信地好。
