生成 AI 和劳动生产率 ： 编码的现场实验

本文通过实地实验考察了生成式AI（gen AI）对程序员劳动生产率的影响。蚂蚁集团于2023年9月推出CodeFuse，一款旨在辅助编码的大型语言模型（LLM），并仅对部分程序员进行了初期试用。研究将使用CodeFuse的程序员（治疗组）与未使用该工具的程序员（对照组）进行配对比较。

核心发现：

1. 生产率提升： 使用CodeFuse的程序员代码输出量平均提升55%，其中约11%-18%归因于直接采用LLM生成的代码，其余36-43%可能源于AI辅助节省的时间，帮助程序员克服编码瓶颈。
2. 经验水平异质性： 生成式AI对初级程序员（工作经验不超过一年）的生产率提升具有显著效果，代码量增加67%；而对高级程序员（工作经验超过一年）的影响不具统计显著性。
3. 使用行为差异： 高级程序员使用CodeFuse的频率显著低于初级程序员，请求次数约低70%，但接受率相似（15%-20%），且对LLM建议的阅读时间无显著差异，表明高级程序员并非认为LLM无用，而是使用频率较低。
4. 任务类型影响： 用户对简单任务和复杂任务的LLM建议接受率相近，复杂任务接受率仅比简单任务低2.1%-3.1%。

结论： 生成式AI能够有效提升程序员生产力，但其采用和使用模式存在显著的经验水平差异。高级程序员因使用频率较低而未充分受益，尽管他们同样认可LLM的建议。研究强调需制定针对性策略，以在不同职级水平上最大化生成式AI的益处。