经济波动地区人工智能预测与众包食品价格的比较分析（英）

授权公开披露 授权公开披露 政策研究工作文件10758 人工智能预测和众包食品价格的比较分析 在一个经济动荡的地区 朱利叶斯·阿德沃波 BoPieterJohannesAndréeHelenPeter 格洛丽亚·索拉诺-埃莫西拉·法比奥·米卡莱 发展数据集团与农业和食品全球实践2024 年4月 政策研究工作文件10758 Abstract 对粮食商品价格的高频监测对于评估和应对冲击非常重要，特别是在脆弱的环境中，及时和有针对性的粮食安全干预措施至关重要。但是，国家价格调查通常在时间和空间粒度上受到限制。在频繁的时间尺度上实施传统数据收集，以解开跨细分市场和国家以下地理级别的时空价格演变，这是成本高昂的。数据创新的最新进展为解决商品价格数据匮乏的问题提供了积极的解决方案，并为不同的发展利益相关者提供了市场情报。使用人工智能来估计缺失的价格数据以及对众包商品价格数据的并行努力都为产生可操作的价格数据解锁了具有成本效益的机会。然而，对这些替代方法的数据知之甚少。 与独立的地面真相数据有关。为了评估这些数据策略是否可以满足对食品可负担性的实时智能的长期需求，本文分析了来自最近发表在《自然杂志》上的数据集的开源每日众包数据（104,931个数据点），与补充事实样本相关。随后，该论文将这些数据与2019年至2022年在尼日利亚北部36个月内相同商品的开源每月人工智能生成的价格数据进行了比较。结果表明 ，所有数据源都具有高度的可比性，商品和市场细分市场之间存在差异。总体而言，这些发现为利用这些新的和创新的数据方法提供了重要的支持，以实现近乎实时的数据驱动决策。 本文是发展数据组，发展经济学以及农业和粮食全球实践的产物。这是世界银行为开放其研究并为世界各地的发展政策讨论做出贡献的更大努力的一部分。政策研究工作文件也在http://www上发布。世界银行。org/prwp.作者可以在jadewopoworldba联系 。组织和badree@worldba。 政策研究工作文件系列传播了正在进行的工作结果，以鼓励就发展问题交换意见。该系列的目标是快速得出发现，即使演示文稿还不够完善。论文带有作者的姓名，应相应地引用。本文表达的发现、解释和结论完全是作者的观点。它们不一定代表国际复兴开发银行/世界银行及其附属组织的观点，也不代表世界银行执行董事或它们所代表的政府的观点。 由研究支持团队制作 经济动荡地区人工智能预测和众包食品价格的比较分析 朱利叶斯·阿德沃波，1，BoPieterJohannesAndrée，1海伦·彼得，2格洛丽亚·索拉诺- 埃莫西拉，3法比奥·米卡雷4 关联关系 1.数据和发展集团，世界银行，华盛顿特区，美国 2.国际热带农业研究所-IITA，尼日利亚伊巴丹 3.西班牙塞维利亚PablodeOlavide大学 4.欧盟委员会联合研究中心(EC-JRC),Ispra,意大利通讯作者:JuliusAdewopo(jadewopo@worldbank.org) JEL分类：Q11-总供需分析：价格关键词：食品价格，众包，人工智能，地面实况，数据 Introduction 粮食不安全对低收入和中等收入国家（LMICs）的国家发展构成了挥之不去的威胁，最近的通货膨胀趋势严重削弱了数百万家庭的粮食负担能力（世界银行，2023年；Headey＆Rel，2023年）。最近的《共享繁荣报告》（世界银行，2022年）显示，全球有6.58亿人生活在每天2.15美元的国际贫困线以下。此外，据估计，2022年全球有6.9亿至7.83亿人经历了饥饿（粮农组织、农发基金 、联合国儿童基金会、粮食计划署和世卫组织，2023年；食品和信息网和全球抗击粮食危机网络，2023年）。其中，超过2.58亿人陷入粮食危机，他们被迫采取不可逆转的应对策略，包括清算生计资产，以满足最低饮食需求（FSIN和全球粮食危机网络，2023年）。国际社会对全球粮食危机的反应包括直接保护生计的大量人道主义援助，以及增加对复原力和预防的投资。从被动援助过渡到主动援助需要严格的监控，以收集信息，以便早期发现，并为应对新出现的粮食安全风险提供信息（Letz＆Maxwell，2022）。 食品和消费者价格通胀显著影响家庭食品负担能力，两者都是粮食不安全的主要指标(Adrée，2021b；Easterly&Fischer，2021；Waterlader等。，2019年）。一般来说，食品价格数据反映了市场脉搏和情绪，并反映了对冲击和威胁的反应。监测商品价格和食品价格上涨是预警和快速评估市场和粮食安全风险的重要工具(Baqedao,2015;Adrée,2021a)。但是，在LMICs中，很少有区域或国家系统支持频繁跟踪各个细分市场的食品价格变化（Adewopo等。，2021年；佐格等人。，2017；Galtier等人。,2014)。 为了对粮食安全和市场运作进行事前和事后评估，至关重要的是在国家以下各级监测粮食价格，特别是在大多数家庭生活在贫困边缘，能力或机会有限的脆弱背景下。地方安全网。在大多数低收入国家中，主要大宗商品的价格监测和报告系统充斥着各种棘手的挑战，包括计划时间，成本和后勤限制，以相关粒度收集数据（i。Procedres.细分市场、商品细分类型、时空尺度等。)得出关于市场或价格动态的国家和地方情报(粮农组织，2017年；Galtier等人。,2014)。然而，政府机构，发展机构和市场利益相关者依靠这种情报来就适当的发展和人道主义干预或投资做出决定。基本商品价格数据通常由指定的国家机构或第三方机构通过对市场的快照调查或实施可以说是不透明的代理方法（Gree等。，2013；Kalhl等人。,2016)。正确的粮食系统规划和适当的干预需要可靠的数据和可靠的见解，以进行与时间相关的，有针对性的行动和反身影响评估。目前的官方数据充其量是对粮食安全状况和变化的滞后回顾，最坏的情况是，它们在空间和时间上歪曲或低估了市场信号的关键细微差别，从而削弱了决策者和数据用户的信心。 在过去的十年中，研究人员提出并测试了各种创新方法来弥合脆弱环境下的食品价格数据差距，产生了不同的结果(Kisa，2015;Zeg，etal。,2017)。可以相对于数据创新的核心要素来判断这些方法的固有适用性，包括可复制性，同步性，有效性以及随时间和空间的速度。数据众包和人工智能(AI)是两种快速发展、独立发展的主要方法。 被认为有希望及时监测市场价格并支持粮食安全评估。 通常，数据众包方法利用所谓的“公民科学”原则，让志愿者（有偿或无偿）以间隔（定义或未定义）提交数据，这些数据可以在地点和时间内或跨地点和时间汇总。该方法的前提是，人群志愿者的多样性将促进收集具有最小或没有偏见的丰富数据，因为数据提交通常是分散和独立的，代表了大规模人群的稳健准抽样（Arbia等。，2023年；索拉诺-埃莫西拉等人。，2022年）。除了核心价值主张众包是一种具有成本效益和及时的收集价格数据的方法之外，它还提供了附带的好处。例如，它促进了一个包容性的数字和数据生态系统，在这个生态系统中，公民不仅是数据消费者或数据主体，而且还被赋予数据策展人的权力，并被公认为粮食系统数据驱动决策的积极利益相关者 。这种方法是在一项名为“非洲粮食价格众包”（FPCA）的倡议下得到充分开发和测试的，该倡议导致超过1,000名志愿者在3年期间（2019-2021年）在尼日利亚一个地区提交了粮食价格数据。产出提供了第一批近实时数据集之一，这些数据集揭示了COVID-19大流行对食品价格的实际影响，以及对国家以下水平的食品可负担性的间接影响(Adewopo等人。，2021年；阿德沃波等人。，2022年）。 在数据众包的同时，人工智能应用的最近飞跃揭示了食品系统智能的新可能性，包括背投、现投和预测。通过利用预测算法，AI系统现在正在执行复杂的数据操作，以从稀疏数据点中剔除新数据集 （Ngye等人。，2023年；萨维奇，2023年；卢，等。，2021年；Gavi&Madal，2002年；Aldoseri，等人。，2023年）。虽然用于复杂分析的AI应用并不新鲜，但现代分析模型的嵌入以及与多通道数据或信息管道的实时耦合已经解锁了AI算法的高级功能。这种革命性的能力之一是每月估算价格数据，该数据是为25个国家开发的（Adrée，2021a；Adrée＆Pape，2023），现在由世界银行部署，涵盖超过2个国家，36个国家的100个市场，并监测粮食价格，能源价格和非官方的平行市场汇率。1实时价格（RTP）数据集是通过资源密集型马尔可夫链蒙特卡洛框架创建的，该框架涉及数十万个模型，以解决从国家系统，世界粮食计划署和粮食及农业组织收集的基础调查中的缺失数据点。为了确保在新数据到达时保持最新输出所需的快速处理，该算法采用了一种基于快速树的方法，称为Cbist。该方法集成了在特征空间的特定区域内捕获关系的局部模型,类似于卷积神经网络(CNN)中的局部感受域的概念。 1Andrée,B.P.J.(2021).Monthlyfoodpriceestimatesbyproductandmarket(Version2024-01-25).WLD_2021_RTFP_v02_M.Washington,DC:WorldBankMicrodataLibrary.https://microdata.worldbank.org/index.php/catalog/4483 Andrée,B.P.J.(2024).Monthlyenergypriceestimatesbyproductandmarket(Version2024-01-25).WLD_2021_RTFP_v02_M.Washington,DC:WorldBankMicrodataLibrary.https://microdata.worldbank.org/index.php/catalog/6134 Andrée,B.P.J.(2024).Monthlyfoodpriceestimatesbyproductandmarket(Version2024-01-25).WLD_2021 _RTFP_v02_M.Washington,DC:WorldBankMicrodataLibrary.https://microdata.worldbank.org/index.php /catalog/6160 随着这些方法的独立发展，它们描绘了一个前所未有的机会来回避与传统的基于枚举器的价格数据监控相关的挑战，包括广泛的时间滞后（有时5年的差距），粗糙的空间分辨率和细分市场覆盖率低（Zeg等人。,2017)。此外，随着数据系统的成熟，它们可以通过高频价格监测来丰富国家数据系统，从而补充统计员领导的努力。但是，为了使数据输出被认为是有用的，必须根据市场位置和时间上的标准枚举器提交的数据进行验证。由于这些创新的数据方法和来源的优势，不确定这些商品价格的替代估计是否是市场信号和实际价格水平的可靠反映。两种方法的特征在于固有的局限性。例如，众包方法可能会受到独立志愿者的变幻莫测的影响，这些志愿者可能会随意提交虚假或过时的价格数据，从而无视内置控件来加强数据收集系统的完整性（Solao-Hermosilla等人。，2022；阿尔比亚等人。，2023年）。同样，由于参数化和偏差，来自AI算法的基于模型的价格估计可能会受到各种准确性问题和不确定性的影响（Aldoseri等人。，2023年；安德烈，2021a ）。 因此，独立地对枚举者主导的数据进行地面实况调查，并证明[DIS- ]必须在这些数据源之间达成协议，以指导利益相关者的进一步创新和参与，以促进对食品价格变化，可负担性和粮食安全的实时评估。 研究区 我们将这项比较研究集中在尼日利亚北部核心地区的三（3）个主要州（图1），世界银行RTP （以下为AI估计）食品价格的地理和时间范围与众包价格提交重叠。重点州的总人口为3050万，占全国人口的15％（人口基