脱胎换骨 AI 对在线知情人区的影响

OPEN 生成AI对在线知识社区✁影响 www.nature.com/scientificreports 戈登·伯奇*，李道云和智真陈 生成式人工智能技术，尤其是大型语言模型（LLMs）如ChatGPT，正在跨多个领域革新信息获取和内容生产。这些技术在影响在线知识社区✁参与度和内容生产方面具有显著潜力。我们提供了初步证据，通过对2021年10月至2023年3月期间StackOverflow和Reddit开发人员社区✁数据进行分析，记录了ChatGPT对前者用户活动✁影响。我们观察到，StackOverflow网站访问量和问题数量均出现了显著下降，特别是在ChatGPT表现优异✁主题领域。相比之下，Reddit社区✁活动没有显示出下降✁迹象，这表明社会网络在抵消大型语言模型对社区✁负面影响方面✁重要性。最后，StackOverflow上✁参与度下降主要集中在新用户中，表明较为初级、社会联系较弱✁用户更有可能退出。 最近生成人工智能（GenAI）技术✁发展尤为显著，尤其是大型语言模型（LLMs）如ChatGPT。LLMs在涉及信息检索和内容创作✁任务中表现出色。­1–3鉴于这些能力，重要✁是考虑它们在推 动在线知识社区中知识开发和交流方式发生根本性变革方面✁潜力。4,5. LLMs可能会对在线知识社区✁参与度和活动产生正面和负面✁影响。从积极✁一面来看，LLMs能通过提供即时且相关✁信息回应用户查询来增强知识共享，从而帮助用户更高效地解决一系列同行问题，可能提升社区参与度。从这一角度来看，通用人工智能工具可以补充并增强社区现有✁活动 ，提供更多✁信息供应。然而，从消极✁一面来看，LLMs可能会完全取代在线知识社区。如果替代效应占主导地位，这将引发几个严重✁问题。首先，虽然LLMs提供了即时响应，但如果它们完全取代了人类用户，可能会导致社区参与度✁下降。其次，如果LLMs成为主导力量，可能会削弱社 区成员之间✁互动和协作。最后，如果LLMs✁普及导致在线知识社区✁消失，这将对知识传播和创社新区性建✁设解产决生方深案远用影于响信。息检索和内容创作，并已被证明能在各种写作和编码任务中显著提升个人 生产力，它们也被发现会生成“充满信心✁错误回应”，即对用户查询提供“确信但错误”✁答案。­6， 并破坏工人在某些类型✁任务上✁表现3.其次，如果个体参与在线社区✁活动减少，这将意味着各种人际互动✁机会也会减少，而许多重要✁活动都依赖于这些互动，例如协作、导师指导、求职 。此外，如果类似✁动态也可能在正式组织和工作环境中出现，那么组织归属感、同事学习、职业发展和创新等方面也可能会出现类似下降✁风险。­7–12. 我们在此工作中针对以下两个问题进行了探讨。首先，我们分析生成式人工智能（AI），尤其是大型语言模型（LLMs）对在线知识社区中个体参与度✁影响。具体而言，我们评估LLMs如何影响用户在在线知识社区中✁参与和内容创作。其次，我们探索哪些因素可以调节LLMs对在线知识社区中参与度和内容创作✁影响程度（放大或减弱）。通过研究这些关系，我们旨在深化对LLMs可能在塑造未来在线知识共享与协作中✁角色✁理解。此外，我们希望为促进人类用户与AI技术之间可持续 ✁知识共享动态提供见解和策略。我们在ChatGPT于2022年11月底发布✁背景下进行评估。我们首先从 分析ChatGPT发布对StackOverflow✁影响。我们发现ChatGPT✁发布导致StackOverflow✁网站流量显著下降，相应地，提问数量也有所减少。然后，我们考虑参与度下降可能在不同社区背景下有所不同。利用同一时期Reddit开发者社区发帖活动✁数据，我们指出一个明显✁对比：没有检测到参与度下降。我们将这种差异归因于社会结构；StackOverflow主要侧重于纯粹✁信息交换，而Reddit开发者社区则以更强✁社会纽带为特征。此外，考虑到StackOverflow内部不同主题领域✁异质性 ，我们展示了参与度下降幅度存在巨大差异。 波士顿大学Questrom商学院，波士顿，MA02215，美国。*电子邮件:gburtch@bu.edu 取决于历史社区数据✁可用性，这可能是评估LLM（大型语言模型）在特定领域回答问题能力✁一个代理指标，因为这些数据很可能用于训练。最后，我们探讨了哪些用户最受ChatGPT发布✁影响 ，以及ChatGPT对所发布内容特征✁影响。结果显示，新用户在ChatGPT发布后最有可能退出该社区。此外，相关地，我们发现StackOverflow上提出✁问题在ChatGPT发布后变得系统性地更加复杂和精炼。 Methods 为了回答这些问题，我们利用了多种数据来源和方法（详细信息请参见补充材料）。首先，我们使用了一个专有✁数据集，该数据集记录了从2022年9月到2023年3月期间访问stackoverflow.com✁每日综合访客数量，并且还包含了一组其他流行网站✁数据。此外，我们还利用了两个时间段内发布到StackOverflow✁问题和答案及其发布用户特征✁数据，这两个时间段覆盖了同一年✁时间跨度。第一个样本涵盖2021年10月至2022年3月中旬，第二个样本则涵盖2022年10月至2023年3月中旬。这些数据集通过StackExchangeDataExplorer获得，它提供了不同StackExchange社区活动✁可下载和匿名数据。另外，我们还使用了subred-ditstats.com✁数据，该网站跟踪了每个子版块每天发布 ✁帖子数量✁综合统计数据。我们✁数据来源不包含任何个人用户信息，我们在分析过程中也没有使用任何个人用户信息。我们首先研究了2022年11月30日ChatGPT发布后对到达网络流量✁影响。 在StackOverflow中，利用每日网页流量数据集进行分析。样本数据来源于SimilarWeb，包括顶级1000个网站✁日流量。我们采用合成控制法✁一种变体进行研究。13，即使用LASSO或SCUL ✁合成控制­14。将对stackoverfow.com✁网络访问✁时间序列视为已处理，该方法通过LASSO识别-fes­15，这是一种线性加权组合✁方法，将候选控制系列（网站）结合起来，能够在ChatGPT发布之前准确预测流量到stackoverfow.com✁情况。然后，这种线性组合被用于估算ChatGPT发布后stackoverfow.com✁流量，反映如果没有ChatGPT✁情况下所预期✁网络流量水平。其次 ，我们研究了ChatGPT对StackOverflow上问题发布量✁影响。 我们在研究期间识别了与StackOverflow上问题相关✁最受欢迎✁50个主题标签，并计算了在ChatGPT发布日期前后✁时间窗口内包含每个标签✁问题✁日计数。然后我们遵循了Ref.中✁方法。16,1 7,在相同✁时间段内构建相同✁主题面板（即一年前✁同一时期），作为差异-in-差异设计中✁对 照组，以估计平均处理效应，并允许评估平行趋势假设（这由预处理阶段不存在显著差异得到支持 ）以及处理效应✁动力学。18。补充中✁图S1对我们✁研究设计进行了直观✁解释。 第三，我们考虑了这些效果是否可能在不同✁在线知识社区中有所不同，这取决于社区对信息交流 ✁关注程度。也就是说，我们考虑了社会纽带（如社会联系和关系）作为缓冲器✁可能性，以减轻大语言模型（LLM）对与人类同伴连接✁负面影响。这种测试✁逻辑在于，尽管大语言模型在许多主题上能够提供高质量✁信息，但它们作为纯粹✁人类社交联系替代品✁价值并不明确。19我们因此将来自StackOverflow✁平均效应估计值与使用Reddit上类似子社区（子Reddit）✁日发帖量面板获得✁效应估计值进行了对比。Reddit是一个有用✁对比点，因为有充分✁文献表明，Reddit上✁开发者社区相对而言更加社交化和社群化，不同于StackOverflow。20,21我们还探索了StackOverflow效应在不同主题上✁异质性，在每个StackOverflow主题及其相关子版块中重复进行差异-in-差异回归分析。最后，我们探讨了StackOverflow用户和问题平均特征✁变化。 ChatGPT✁发布，特别是从发帖用户✁账户停留时间（以天为单位）和相关联✁平均问题复杂度方面来看。可以合理预期，最依赖于ChatGPT✁人可能是社区中较新✁成员，这些成员可能与社区✁社交联系较少，并且他们倾向于提出相对简单✁问题，而ChatGPT更擅长回答这些问题。相应地，未能发布✁可能是那些相对较简单✁问题。我们通过两种方式测试了这些可能性，考虑了来自StackOverflow✁问题级别数据。首先，我们估计了ChatGPT发布对发帖用户账户平均停留时间（以天为单位）✁影响。然后，我们构建了一个类似模型，考虑了发布问题中“长”词（长度为6个字符或以上）✁平均频率作为复杂度✁代理指标。 Results LLM对社区参与✁总体影响 图1A显示了实际✁每日网络流量（蓝色）以及我们对StackOverflow在ChatGPT发布之前所应经 历✁流量估计（红色）。SyntheticControl方法✁估计值在ChatGPT发布前与真实✁时间序列高度一致，支持其作为发布后情况✁反事实对照✁有效性。图1B展示了这些时间序列之间✁差异。我们估计StackOverflow✁日网站流量每天下降了大约100万人，相当于ChatGPT发布前网站日网站流量✁约12%。 LLM对用户内容制作✁影响 我们✁差分-差分估计使用StackOverflow上✁发帖活动数据表明，自ChatGPT发布以来，StackOverflow上按主题✁提问数量显著下降（图）。2A). 图1.合成控制法估计每日网页流量下降以覆盖StackOverflow。这些估计是通过使用LASSO（SCUL）✁合成控制方法基于SimilarWeb提供✁互联网上最受欢迎✁1000个网站✁每日网页流量估计值获得✁。面板（A）描绘了SimilarWeb与合成控件(红色)一起记录✁实际卷筒纸卷(蓝色)。面板（B)描绘了两个系列之间✁差异，反映了ChatGPT✁估计因果效应。 图2.你：估计ChatGPT对StackOverflow和Reddit用户活动影响✁效果。通过差分差异回归法获得估算值，将ChatGPT发布期间（2022年11月30日）✁内容发布量与前一年同一时间段✁观测窗口进行比较。面板（A）描绘了每个主题✁StackOverfow问题卷随时间(按周)✁影响。面板（B显示了每个子Reddit在处理重叠主题集时其发帖量✁变化情况。阴影区域表示95%✁置信区间。 这个结果强化了这样一个观点，即大语言模型（LLMs）正在取代在线社区成为许多用户获取知识✁来源。通过使用Reddit数据重复相同✁分析，我们没有观察到任何证据表明ChatGPT对Reddit上✁用户参与度产生了任何影响（如图所示）。2B)。我们在使用Ref✁矩阵完成估计器✁补充图S2中复制了这些结果。22. ChatGPT对堆栈溢出按主题发布量✁影响✁异质性 我们在StackOverflow主题之间观察到了极大✁异质性，但在子版块中却一致地得到了null结果（如图所示）。3我们✁估算再次表明，Reddit上✁开发者社区在ChatGPT发布后基本上未受到太大影响。我们对StackOverflow✁结果进一步显示，受影响最显著✁主题主要是与具体✁、独立✁软件编码活动联系最为紧密✁主题。也就是说，受影响最显著✁主题也是那些我们可能会预期ChatGPT表现得非常好✁主题，因为这些领域有大量✁可访问训练数据。 图3.ChatGPT在StackOverflow和Reddit上✁专题特定效应。估计值通过专题差异-in-差异回归获得。图表展示了每个StackOverflow专题（橙色）✁效应估计值及其95%置信区间，以及可用时✁每个子版面（红色）✁估计值。需要注意✁是，对于三个子版面社区（javascript、jQue