状态报告 ： 研究人员获取在线平台数据的机制

发布日期：4月5日

学术和公民社会对著名在线平台的研究已成为了解信息环境及其对社会影响的重要途径。跨全球研究人员利用应用程序编程接口(API)和网络爬虫收集在线平台上的公共用户生成内容和广告内容进行研究，涉及技术促进的基于性别的暴力、儿童和青年心理健康等社会问题。然而，平台数据获取机制和政策的变化给关键研究带来了不确定性和困难。

美国和欧盟致力于推进数据研究人员访问，符合欧盟-美国贸易和技术理事会（TTC）上宣布的研究人员平台2023年5月部长级会议的高级原则。自TTC推出以来，《欧盟数字服务法》(DSA) 生效，要求超大型在线平台(VLOP)和超大型在线搜索引擎(VLOSE)提高透明度。DSA包括透明度报告、条款和条件的规定，以及解释内容审核决定。其中，DSA第40.12条和第39条提供了访问平台公开内容和广告存储库的重要机制。

本报告总结了欧洲和/或美国研究人员今天遵循VLOP和VLOSE的部分措施与DSA，旨在展示现有访问方式并鼓励使用这些机制来研究在线平台的设计和决策对社会的影响。审查的机制清单包括在附录中。

访问方法

平台采取不同的方法为研究人员提供公共内容访问机制，包括API和抓取权限。大多数平台要求研究人员在访问之前填写申请表。某些情况下，应用程序授予研究人员免费访问平台已经存在的商业API，而其他平台已经推出了新的API专门针对研究人员。此外，一些平台选择允许研究人员抓取或编写代码来抓取在线平台的Web界面并整理数据。

数据可用性

每个公共内容机制中可用的数据因领域和类型而异。跨平台和搜索引擎可用的公共数据在内容、个人数据量和结构方面各不相同，还取决于具体情况对于通过无限制抓取提供访问的机制。一些平台包括公共文档来附带描述可用内容的机制。平台正在对包含内容做出不同的选择。

费率限制/配额

一些平台决定了研究人员可以通过速率限制访问的公共数据量和配额。例如，TikTok Research API的每日限制为“每天1000个请求”，YouTube研究人员API也设置每天10,000个单位的配额。

访问条件

许多平台都是基于应用程序来调节访问过程。应用程序通常询问研究人员和研究机构、研究方案和数据需求、描述研究经费、数据保护措施描述和断言研究人员同意使用条款和隐私政策。关于哪些研究人员获取数据访问的决定下降平台。

研究人员的地理位置

平台根据研究人员/研究组织的地理位置确定资格。例如，Meta的内容库和API可供研究人员使用全球，而TikTok的研究API可供欧盟和美国的研究人员使用。

隶属关系和资格

大多数机制都允许来自一系列非商业机构的研究人员申请访问权限。一些申请只要求提供申请人组织的名称，而其他申请要求提供有关研究员的专业背景。

资金/独立性

为了确保项目是为了研究而不是商业目的，应用包括问题关于谁在资助这项研究以及研究人员和他们的组织是否独立于商业利益。

研究提案

所有的应用程序都要求研究人员描述他们的研究目的，但详细程度不同。几乎每个应用程序都要求研究人员描述他们的研究设计和方法。

数据保护

许多应用程序询问研究人员保护数据的计划。一些访问机制要求研究人员提交数据保护认证策略。

条款协议

在大多数应用程序结束时，要求同意平台的条款，范围从开发人员策略到数据保护要求再到一般使用条款。

数据刷新

平台正在采取不同的方法来处理用户公开发布的数据，然后稍后修改或删除。一些平台需要从研究者通过数据刷新在短时间内的数据集。

出版前审查/要求

少数访问机制要求研究人员为平台提供在公开之前进行研究。

Open Access

一些平台鼓励研究人员在开放获取期刊上发表他们的研究成果，对公众免费。

附加数据管理规定

除了询问研究人员有关其数据保护的问题外，数据访问机制的使用条款通常包括有关数据处理的其他规定。

广告存储库

许多提供广告内容见解的平台都提供了可搜索的Web界面和通过API访问广告的方向。广告存储库的数据可用性各不相同，但主要包括广告客户ID、广告内容、交付日期和描述广告定位方式的信息。

访问方法

许多提供商业内容见解的平台都提供了可搜索的Web界面和通过API访问广告的方向。某些API需要用户(研究人员)设置开发者账户并签署开发者条款。

访问条件

提供广告存储库的平台已将数据提供给公众，而没有要求成为研究人员。只有TikTok和LinkedIn需要其广告存储库的用户申请API访问。

数据可用性

广告存储库的数据可用性各不相同，但主要包括广告客户ID、广告内容、投放日期，以及描述广告如何定位的信息。平台的上下文可以导致不同的附加字段。

附录 这些表格中呈现的信息基于服务提供商公开提供的资料，并在此基础上进行了构建。本报告所呈现的分析不一定代表欧洲的官方立场委员会或美国政府。