2022年AI和人工智能与机器学习全景报告

2022年 AI和机器学习全景报告 AI生命周期数据管理 目录 引言3 高管致辞3 关键要点4 获取5 质量9 评估12 采用16 结论28 调查方法29 关于澳鹏30 2APPEN.COM 引言 《AI和机器学习全景报告》是一份跨行业调查报告，旨在通过企业及其高级决策者和技术专家的意见，全面介绍AI和机器学习的现状。在我们第8次年度调查中，澳鹏与美国哈里斯民意调查合作，将我们的调查 扩展到北美和欧洲的504名受访者。本报告旨在帮助我们了解AI的采用情况、AI生命周期中数据管理的成熟度以及负责任的AI的价值。调查结果使我们能够认识到AI的变化及其如何顺应后疫情时代的需要。 新冠疫情加速了AI行业的发展，而且我们继续经历着演进。对反映“新常态”的数据的需求导致企业对高质量数据的需求迅速激增。人类行为业已改变，因此，机器必须学会反映这种新常态以适应此改变。现在，世界正在缓慢进行疫情后的调整，对AI的迫切需求正在趋于平稳，但与2020年和疫情前相比，这一需求仍在攀升。敏锐觉察这一趋势的企业必将迎来AI和ML创新的新机遇。 随着企业领导者和AI从业者对AI发展四个关键阶段认识的加深，他们也更加重视AI生命周期数据的价值。这四个阶段是：数据获取、数据准备、模型训练和部署以及模型评估。正如我们的预期，随着市场日趋成熟，企业纷纷寻求合作伙伴帮助推出和维护AI计划。数据获取和数据准备任务艰巨，企业很快认识到，有效利用外部资源能够减轻内部数据科学家的压力。 负责任的AI是市场成熟的重要反映，大多数受访者表示，它是所有AI和机器学习项目的基础。虽然决策者的意见相当一致，但论及负责任的AI，企业领导者比技术专家更有可能将道德视为关键因素。 我们的调查结果也反映了时代的变迁，在经历发展初期的激增之后，AI也在调整适应全球疫情给企业和生活的方方面面所带来的影响。有关我们调查方法的更多详细信息，请参阅第29页。 依托我们26年的专业经验，澳鹏非常荣幸能够与美国哈里斯民意调查（TheHarrisPoll）合作，提供本AI行业现状的全景报告。 作为AI生命周期数据的领导者，我们高兴地了解到技术、金融、医疗保健和零售等行业的决策者了解数据管理在AI不同阶段的价值。来自这些技术专家和企业领导者的调查结果和他们的意见为我们应对AI行业的挑战、满足各种需求并确定未来的发展方向提供了指导。我们很兴奋地看到数据科学家花费更少的时间来采购和准备数据，而企业对AI项目的推进也更有信心。我预测，未来10年，所有业务应用程序的构建均将利用AI保持竞争力。 SujathaSagiraju 澳鹏首席产品官 4 AI 5 道德 项目的基础。 的受访者认为，负责任的AI是其所在企业所有AI项目的基础。 关键要点 1 获取 受访者认为，数据获取仍然是个障碍，是AI生命周期中具有挑战性的一个阶段。 42%的技术专家表示，AI生命周期中的数据获取阶段很有挑战性。不过，认为数据获取很有挑战性的企业领导者并不太多（24%）。 2 质量 企业领导者和技术专家都认为，数据准确性在理想与现实之间存在差距。 超过一半的受访者表示，数据准确性对AI的成功至关重要，但只有6%的受访者表示数据准确性高于90%。 3 评估 AI在短期内不会取代人类。 受访者对人机协同的重要性有着强烈的共识。81%的受访者认为，它非常重要或极其重要，97%的受访者认为，人机协同评估对于AI模型的准确性很重要。 采用 21%-30% 11%-20% 1%-10% 0% 1% 3% 3% 4% 数据获取 数据准备 模型测试和部署 人工模型评估 APPEN.COM 5获取 10% 38% 7% 39% 40% 8% 3% 6% 34% 46% 8% 3% 获取 数据获取仍是AI应用构建团队的主要瓶颈。 原因各不相同。例如，特定用例的数据可能不足，新的机器学习技术需要更多的数据，或者并未建立轻松高效获取所需数据的适当流程。 受访者对AI生命周期数据管理的看法有着强烈的共识，即企业领导者了解AI生命周期数据管理的价值（90%同意），AI生命周期数据管理正在改变本企业的的经营方式（87%同意）。决策者在AI生命周期四个阶段会平均分配数据管理时间。7成（71%）的受访者表示， 本企业在AI生命周期的许多阶段都很纠结。 按阶段分配的时间百分比 平均占用时间%25.8%24.3%23.4%22.8% 2% 8% 37% 3%9%46%34%5% 2%1%0%1% 51%+ 41%-50% 31%-40% “在对AI挑战的认识方面，数据科学家和企业领导者之间的差距正在逐年缩小。强调数据的重要性，尤其是与应用场景相匹配的高质量数据的重要性，对于AI模型的成功至关重要，正是这一共识让团队携手应对挑战。” MingkuanLiu 澳鹏数据科学副总裁 尽管大多数受访者（88%）认为本企业拥有AI各阶段数据管理的必要内部资源，但只有42%的技术专家认为，AI生命周期的数据获取阶段很有挑战性。不过，认为数据获取很有挑战性的企业领导者并不太多（24%）。这表明，在对AI生命周期数据管理最大瓶颈的认识方面，技术专家和企业领导者之间仍然存在分歧。这就导致企业内的优先事项与预算的错位。 认为AI生命周期数据管理阶段很有挑战性的受访者 在以下各个阶段， 您/您的企业完成该阶段工作的挑战性有多大？ 34% 数据准备 25% 模型测试和部署 38% 28% 人工模型评估 41% 26% 图示为认为各阶段很有挑战性的受访者比例。 获取6 APPEN.COM 图1： 数据获取 技术专家企业领导者 24% 42% 15% 11% 34% 24% 88% 24% 数据获取 数据准备 使用外部AI训练数据提供商 模型测试和部署 人工模型评估 不使用外部AI训练数据提供商 不确定 APPEN.COM 7获取 受访者一致认为，用于AI模型的数据应以负责任的方式获取，减少偏见，并高度准确。 此外，许多受访者都认为数据获取阶段很有挑战性，也获得最多的预算分配。超过三分之一的受访者认为，数据获取是需要最多预算的阶段。 按阶段最多分配预算使用外部AI训练数据提供商 2% 要使AI解决方案正常运行，就需要大量高质量数据来训练底层神经网络。多语言自然语言处理（NLP）便是个很好的示例。 NLP依赖于数百万人的语音输入，并以ML （机器学习）模型可以接受的格式准备和输入。 “随着基于多语言网络爬虫数据的大型语言模型（LLM）的兴起，企业面临着另一个挑战。由于训练语料库中存在大量的有毒语言以及种族、性别和宗教偏见，模型往往表现出不良行为。由于可接受语言的使用在不同的背景和文化中存在很大差异，因此无法轻易地普遍纠正此类行为。虽然可能有不少方法来解决这个问题，包括调整模型训练的方式、筛选训练数据和模型输出，并从人类的反馈和测试中学习，但还需要进一步的研究来制定一个值得信赖的、以人为中心的LLM基准和评估方法。” IliaShifrin 澳鹏AI专家高级总监 虽然我们调查的受访者中有五分之四表示，他们拥有支持AI项目所需的适当数据量 （81%），并且可以使用完成AI相关工作所需的工具（90%），但他们中的大多数人仍在为低劣的数据质量而苦恼。依靠如此数据生成的系统往往性能不佳。当在NLP中集成多模态，或连接支持多种语言和内容类型的多个独立NLP解决方案时，数据质量问题就成为一个更大的挑战。 您是否认为您拥有适当数量/充足的数据来支持AI计划/项目？ 13%7% 是否 不确定 81% 获取8 APPEN.COM 6% 迫切需要 14% 1%-80% 重要，但我们能解决 81%-90% 46% 51% 不是很大的需求 91%-100% 78% 不确定 图中数字经四舍五入 APPEN.COM 9质量 “数据准确性对AI 和ML模型的成功至关重要，因为优质的数据 可以产生更好的模型输出 和一致的处理和决策。为了获得良好的结果，数据集必须准确、全面且可扩展。” ——澳鹏首席技术官WilsonPang 质量 世界日新月异，随着越来越多的智能设备、多屏幕的使用和收集信息的新数字工具的出现，全球数字足迹产生的数据量迅猛增长， 准确地构建和标注数据比以往任何时候都更加重要。 51%的受访者认为，数据准确性对其AI用例至关重要，46%的受访者认为，虽然这点很重要，但也可以变通。但只有20%的受访者认为，数据准确率高于80%，而认为数据准确率超过90%的受访者只有6%。 数据准确性有多重要？您的数据准确性属于哪一水平？ 2%1% 平均而言，管理和准备数据的平均时间比例呈下降趋势今年这一数字为47.4%，而2021年为53%。 在AI生命周期开始阶段就使用正确的数据，将使后续阶段获得更好的结果。用于管理和准备数据的平均时间比例呈下降趋势，今年的平均占时间为47.4%，而2021年这一数字为53%。由于大多数受访者都使用外部数据提供商，因此可以推断，通过外包数据获取和准备工作，企业的数据科学家正在节省时间，并正确管理、清理和标注数据。 平均而言，您的团队花在管理、清理和/或标注数据上的时间百分比是多少？ 数据管理、清理和标注所花时间百分比 1%-30% 26% 31%-50% 51%-70% 30% 27% 71%-100%17% 质量10APPEN.CO 质量10 APPEN.COM AI计划的最大障碍是数据管理。 AI计划的最大障碍是数据管理，41%的受访者表示，数据管理是最大的瓶颈。紧随其后的是，39%的受访者表示，缺乏合格的人才——数据科学家和技术专家、数据架构师和工程师稀缺。31%的受访者表示，缺乏足够的人员编制预算，增加了数据管理团队人员配备的挑战。合格数据科学家和技术专家的短缺凸显了确保关键人才专注从事需要其宝贵技能的工作的重要性。为了解决这一问题，企业希望利用外部数据提供商减少本企业在数据获取等领域的工作量，为数据科学家省出时间从事其他AI项目。 AI计划的最大瓶颈 您认为AI计划或项目的最大瓶颈是什么？ 41%39% 32%31%30%29% 数据管理缺乏技术资源/合格 人才 高管层/管理层“认同” 缺乏预算/人员编制 缺乏数据缺乏技术工具 APPEN.COM11质量 人机协同机器学习的重要性 极其重要很重要相当重要 有一些重要 一点都不重要 35% 不确定 46% 评估12 APPEN.COM 0% 1% 3% 16% 81%的受访者表示，人机协同机器学习 非常重要或极其重要。 评估 机器学习模型需要持续监控和调整，以确保输出准确、相关的信息。 虽然部署后的模型基本上是自主的，但模型验证和再训练却需要人机协同。受访者对人机协同的重要性有着强烈的共识。81%的受访者认为，它非常重要或极其重要，97%的受访者认为，人机协同评估对于AI模型的准确性很重要。 91%的企业至少每季度更新一次机器学习模型。 AI生命周期是个持续的过程，需要不断地获取、准备和评估新的数据输入和模型输出。因此，有很多企业使用外部数据提供商（88%），从我们衡量的需要持续更新模型的数据点中也可见一斑。去年，有86%的企业至少每季度更新一次模型，今年这一数字已增加到91%。 您多久重新训练/更新您的机器学习模型？ 2020年（n=290） 2021年（n=501） 2022年（n=404） *仅适用于2021/2022年的调查 每月不止一次* 14% 20% 每月一次 每季度一次 一年两次*8% 7% 每年一次4% 3% 5% 从不0% 0% 15% 30% 37% 38% 35% 39% 45% APPEN.COM 13评估 数据提供商的态度 我希望我的企业能够 找到一个合作伙伴为AI生命周期数据的各阶段提供支持。 34% 非常同意 有点同意 合适的数据合作伙伴 对于模型的成功部署至关重