核心观点
OECD 发布了新的 AI 能力指标，旨在为政策制定者提供基于证据的框架，以了解 AI 能力并将其与人类能力进行比较。这些指标由 AI 和未来技能团队与 50 多位外部专家合作开发，涵盖了九个领域：语言、社交互动、问题解决、创造力、元认知和批判性思维、知识、学习和记忆、视觉、操作和机器人智能。
关键数据
- 指标采用五级量表来描述 AI 系统在不同能力领域的进展，从简单的任务到复杂任务。
- 目前，最先进的 AI 系统在语言、社交互动、问题解决、创造力、元认知和批判性思维、知识、学习和记忆、视觉、操作和机器人智能等领域的表现水平在 2 级和 3 级之间。
- 语言指标：最先进的语言模型（如 ChatGPT）被评估为处于 3 级水平，能够可靠地理解和生成语义信息，并表现出先进的逻辑和社会推理能力。
- 社交互动指标：AI 系统在社交记忆方面表现良好，但缺乏实体、身份感和社交感知能力。
- 问题解决指标：符号 AI 系统在狭窄的领域（如物流规划和模型检查）表现出超人的能力，而大型语言模型在处理自然语言问题时表现出一些 3 级能力，但由于其脆弱性，仍被评估为 1 级。
- 创造力指标：当前 AI 系统可以创建对人类有价值、新颖和令人惊讶的输出，但由于其依赖人类生成的文本，因此无法生成与现有人类知识显著不同的输出。
- 元认知和批判性思维指标：最先进的语言模型通常在 2-3 级水平，能够监控自己的理解并调整方法，但难以整合不熟悉的信息或评估自己的知识。
- 知识、学习和记忆指标：大型语言模型和相关生成式 AI 系统在 3 级水平，能够通过分布式表示学习信息的语义，并将其推广到新的情况。
- 视觉指标：最先进的视觉系统在 3 级水平，能够处理一些目标物体外观和光照的变化，但无法根据自我反馈改进性能或处理大量变化。
- 操作指标：操作系统在 2 级水平，能够在高度受控的环境中处理各种物体形状和中等柔性的材料，但在动态和不可预测的环境中表现不佳。
- 机器人智能指标：最先进的机器人系统在 2 级水平，能够在结构化环境中执行预定义的任务，但难以处理复杂、不可预测的场景。
研究结论
- AI 能力指标为政策制定者提供了一个框架，以了解 AI 对教育、工作和社会的影响。
- 通过将 AI 能力与人类能力进行比较，政策制定者可以确定哪些职业可能受到自动化影响，以及哪些学习目标需要改变。
- AI 能力指标还可以帮助政策制定者预测 AI 的潜在突破，并制定相应的政策。
- OECD 将继续开发和更新指标，使其成为国际社会了解 AI 能力和其影响的重要参考。
