ChatGPT 与公司政策 - 汉

NBER工作文件系列 CHATGPT和公司政策曼尼什·贾林钱 迈克尔·韦伯· 杨宝忠 工作文件32161http://www.nber.org/papers/w32161 国家经济研究局 马萨诸塞州大道1050号剑桥,MA02138 2024年2月 我们没有什么可透露的。本文表达的观点是作者的观点，不一定反映国家经济研究局的观点。 NBER工作文件出于讨论和评论目的而分发。它们没有经过同行评审，也没有经过NBER官方出版物随附的NBER董事会的评审。 ©2024作者：ManishJha,JialinQian,MichaelWeber,andBaozhongYang.Allrightsreserved.Shortsectionsoftext,nottoexplicitpermission,maybequotedwithoutexplicitpermission,suppliedthatfullcredit,including©notice,isgiventothesource ChatGPT和公司政策 马尼希·贾哈、钱嘉林、迈克尔·韦伯和杨宝忠·NBER工作文件第32161号 2024年2月 JEL编号C81,E22,G14,G31,G32,O33 摘要 我们根据电话会议创建了一个公司级的ChatGPT投资评分，以衡量管理者预期的资本支出变化。我们使用可解释的文本内容及其与CFO调查响应的强相关性来验证分数。投资得分预测了多达九个季度的未来资本支出，控制了托宾的q和其他决定因素，这意味着投资得分提供了有关公司未来投资机会的增量信息。投资得分还分别预测未来的总投资、无形投资和研发投资。高投资得分的公司经历了显著的负未来异常回报。我们证明了ChatGPT适用于衡量其他政策，如股息和就业。 ManishJha 佐治亚州立大学BroadStreet35号，1241套房 亚特兰大,GA30303 钱嘉林 佐治亚州立大学 迈克尔·韦伯 芝加哥大学布斯商学院 5807SouthWoodlawnAvenue芝加哥,IL60637 和NBERmichael.weber@chicagobooth.edu 杨宝忠 J.MackRobinson商学院BroadStreet35 号套房1243 亚特兰大，GA30303bzyang@gsu.edu 1.Introduction 了解企业政策是企业融资的核心。特别是投资政策是企业增长和总体波动的关键，总体投资是GDP中最不稳定的部分（McCoell和Mscarella，1985；Titma，Wei和Xie，2004；Bolto，Che和Wag，2013）。根据新古典q理论，托宾的q应该是描述企业投资机会和政策的足够统计量（Hayashi， 1982；Peters和Taylor，2017）。尽管如此，公司经理的期望和计划等私人信息可能尚未完全纳入市场价格，即使市场大多是有效的。尽管各种调查提供的一部分公司的信息具有可用性和实用性，但总体而言，并非所有公司都可以获得此类信息。Procedre，杜克大学/美联储首席财务官调查和会议委员会首席执行官调查。 管理者向市场参与者传达私人信息的一种方式是通过季度收益电话会议，向公众提供丰富的信息，包括公司管理者的信念和期望。大规模分析此类信息具有挑战性，因为典型电话的长度为8000字，每个季度都有数千家公司报告。尽管近年来文本分析研究工具取得了进展，但在革命性的AI工具ChatGPT出现之前，提取复杂的信息（如公司的预期投资政策）已经超出了研究人员的能力范围。ChatGPT由OpeAI开发，通过能够提出长期，复杂的问题并在人类专家级别提供详细和复杂的答案，使自己与以前的AI模型区分开来。 Inthisstudy,weuseChatGPTtoextractfirm-levelcorporateexpectationsoffutureinvestment-mentpoliciesandaimtoanswerthefollowingresearchquestions:CanananadvancedAImodelsuchasChatGPThelpunderstandcorporatepolicies? 1可用在and 主题/CEO-信心. 投资政策提供了超出现有投资机会衡量标准的信息，如托宾的q或现金流？这些信息是否对资产价格和回报有进一步的影响？我们使用了从2006年到2020年3,878家独特公司的74,586次电话会议记录来解决这些问题。我们向ChatGPT模型提供电话会议记录，其中包含有关预期未来资本支出的问题，以检索对未来投资增减的定量评估，并构建ChatGPT投资评分。 我们采用了几种方法来验证这一措施。首先，由于杜克大学首席财务官调查直接要求经理回答有关其未来投资计划的问题，因此我们将我们的投资得分与同一公司首席财务官的杜克大学调查答复进行了比较。我们发现，我们的措施与公司预期资本支出政策的调查答案之间存在很强的正相关关系。其次，我们样本中平均投资得分的时间序列和未来资本支出的平均变化随时间表现出相似的趋势，并且相互吻合良好。第三，我们检查了行业平均投资得分的时间变化，并确定了与经济重大变化一致的模式。Procedre，软件和生物技术行业预计在Covid大流行期间投资将增加，而其他行业则大幅削减预期投资。最后，我们要求ChatGPT提供电话会议记录的摘录，以支持其对最高和最低投资得分的评估。ChatGPT的回答揭示了人类可以清楚解释的关键短语和句子。后者的验证提供了ChatGPT相对于以前的一些AI模型的重要优势-其输出的可解释性，这有助于生成的投资得分。 在某种程度上，基于ChatGPT的投资分数代表了尚未完全纳入市场价格的公司的投资预期，我们预计它包含了未来资本支出相对于新古典q理论及其扩展的托宾q的增量预测能力。总q，包含无形资本(Peters和Taylor，2017)。我们发现ChatGPT投资得分显著且为正。 与未来投资的关系，保持公司投资的其他决定因素不变。在电话会议之后的季度中,投资得分的一个标准差的增加与资本支出的0.034标准差的增加相关联。经济规模是有意义且可观的，相当于资本支出对总q的敏感性的三分之二。这种关系对于控制总q，总现金流，滞后资本支出，其他公司特征以及公司和时间固定效应是稳健的，这表明投资得分确实包含了从管理私人信息和期望中得出的新的增量信息。 投资得分对未来投资的显著预测能力在随后的九个季度继续保持不变，这在一定程度上表明了管理者预期的长期性，但也可能反映了大型投资项目的长期性。由于投资得分的一个标准偏差增加 ，未来九个季度的未来投资累计增加为账面资产的1.17%，或季度资本支出标准差的34%。此外 ，ChatGPT投资得分包含超出未来实物投资的信息，可以帮助预测其他形式的投资，包括无形投资 ，研发和短期和长期的总投资。 基于投资的资产定价理论（Li，Whited和Zhag，2009）预测，预期收益较低的公司投资更多 ，而投资因素确实在新的标准资产定价模型中具有突出的特征。Procedre，Fama-Frech5因素模型（Fama和Frech，2015）和q5因素模型（Ho，Mo，Xe和Zhag，2021）。投资因素意味着高投资股票产生的未来收益低于低投资股票。GivethattheChatGPTivestmetscorecaptresewiformatioregardigfirms’ftreivestmetopportitiesadcomplemetedtheiformatioicrretivestmetadTobi’sq,theChat-GPTivestmetscoresholdalsobesegativerelatedtoftalstocretr我们的测试证实了这一假设。ChatGPT投资得分显著负相关。 下一季度的原始收益和因子调整后的异常收益，控制总q和过去的收益。投资得分增加一个标准差对应−1.80%,−1.47%，以及−1.40%的原始收益、FF5调整后的收益和q5调整后的收益分别为。与投资类似，收益可预测性在收益电话会议后也持续了九个季度。这种异常回报的存在表明，市场并没有完全纳入上市公司收益电话会议中已经包含的信息，而像ChatGPT这样的先进AI模型能够有效地提取这些信息。因此，使用这样的人工智能模型可以帮助投资者提取有用的信息，并有可能使市场更有效率。 接下来，我们研究基于ChatGPT的投资得分与未来投资之间关联的横截面异质性。对于更不透明的公司和在更动态和不确定的环境中运营的公司，管理层的期望和预测可能会提供更多的信息和价值 。我们通过行业竞争，公司规模和产品生命周期的阶段来代理公司所处的环境性质（Hoberg和Masimovic，2022）。ChatGPT投资得分的预测能力对于规模较小、处于产品生命周期的初始阶段、在竞争更加激烈的环境中运营的公司尤其明显，与上述假设一致。 ChatGPT可能会在生成投资得分时使用电话会议记录的语料库和未来信息之外的信息，因此，研究人员和市场参与者可能无法实时使用该信息来做出投资决策。我们提供了两个额外的测试来减轻这些担忧。第一个测试是样本外测试，在2021年9月ChatGPT3.5的培训期结束后，我们重新运行我们对2021Q4至2022Q4期间的主要分析。在第二个测试中，我们掩盖了电话会议中的所有公司，人员和产品名称，并从掩盖的成绩单中重做了ChatGPT分数。我们的主要结果在两项测试中都保持不变。我们还研究了其他大型语言模型的预测能力，例如RoBERTa。虽然他们也有能力 。 了解公司政策，ChatGPT在赛马中表现出卓越的表现。此外，我们执行了许多额外的敏感性检查 ，这些检查包含了额外的控制变量和ChatGPT评分的替代定义。结果是稳健的。 尽管本研究的重点是公司投资政策，但我们也调查了我们的方法是否可以应用于其他公司政策。特别是，我们以类似的方式使用ChatGPT来获得管理层对股息支付和就业政策变化的期望，并构建基于ChatGPT的股息和就业分数。这些基于人工智能的预期政策措施与杜克大学首席财务官调查对同一组公司的回应中报告的预期政策密切相关。因此，我们的方法有可能适用于广泛的公司政策。 本文做出了几点贡献。首先，它是第一篇应用尖端AI工具ChatGPT从企业收益调用中提取管理者对企业政策的期望，并对基于AI的政策措施进行实证验证的论文。我们的方法可以应用于广泛的政策和期望。其次，ChatGPT投资度量提供了一种新的，实时的预期投资度量，它补充了经典和扩展的q理论中的q度量。第三，我们的方法可用于扩展和补充现有的高管调查，考虑到过去十年美国调查回应率的下降，特别是在Covid大流行(Picert，2023)之后，以及运行公司调查的高成本(Weber等人。 ，2022年）。第四，人工智能的可解释性是一个重要问题，因为人工智能在金融和经济研究中的日益普及，以及解释某些“黑箱”模型的挑战。我们的方法允许AI的可解释应用，因为人类可以阅读和理解ChatGPT在做出决策时给出的论点。 Wecontributetoseverallinesofliterature.First,ourpaperisrelatedtotheliteratureontheinvestment -qrelation.AlthoughtheoriesthatestablishedstronglinksbetweenTobin’sqandinvestment(Tobin,1969;Hayashi,1982;Abel 有大量文献解释了这种令人困惑的差异。例如，Ericso和Whited（2000，2006）提出并采用GMM来消除q中的测量误差。Philippo(2009)使用债券价格来获得更准确的q度量。Peters和Taylor（2017）完善了q的度量，以包括无形资本，并发现总q的度量结果改善了投资-q关系 o3