2022年人工智能分析报告

stateof.ai#stateofai AI报告的状态 2022年10月11日 NathanBenaichIanHogarth 关于作者 NathanBenaichIanHogarth Nathan是的普通合伙人空中街首都，一家风险投资公司投资于AI-first技术和生命科学公司。他创立了RAAIS和London.AI（工业和研究的AI社区），RAAIS基金会（ 资助开源AI项目）和Spinout.fyi（改善大学分拆创建） 。他在威廉姆斯学院学习生物学，并在剑桥大学获得癌症研究博士学位。 Ian是该公司的联合创始人多个，这是一个为经验丰富的创始人提供投资平台，可以帮助最雄心勃勃的欧洲初创公司。他是伦敦大学学院的客座教授，与玛丽安娜·马 祖卡托教授合作。伊恩是音乐会服务Songkick的联合创始人兼首席执行官。他于2005年开始研究机器学习，他的硕士项目是一个计算机视觉系统，用于对乳腺癌活检图像进行分类。 人工智能（AI）是一个多学科的科学和工程领域，其目标是创建智能机器。 我们相信，在我们日益数字化，数据驱动的世界中，人工智能将成为技术进步的力量倍增器。这是因为今天我们周围的一切，从文化到消费产品，都是智能的产物。 人工智能状况报告现在已经进入了第5年。把这份报告看作是我们看到的最有趣的事情的汇编，目的是引发一场关于人工智能状况及其对未来的影响的知情对话。 我们在报告中考虑以下关键维度： -Research：技术突破及其能力。 -Industry：AI的商业应用领域及其业务影响。 -政治：人工智能的监管、其经济影响和人工智能不断演变的地缘政治。 -安全：识别和减轻未来高性能人工智能系统可能给我们带来的灾难性风险。 -预测：我们认为未来12个月会发生什么，以及2021年的绩效评估，以保持我们的诚实。 由NathanBenaich(@nathanbenaich),伊恩·霍加斯（@soundboy），奥斯曼·塞布(@osebbouh)和 NitarshanRajkumar(@nitarshan)。 谢谢! 奥斯曼·塞布 研究助理Othmane是ENS巴黎ML博士，CREST-ENSAE和CNRS博士 。 他拥有ESSEC商学院的管理硕士学位和应用数学硕士学位 ENSAE和EcolePolytechnique。 NitarshanRajkumar 研究助理Nitarshan是剑桥大学人工智能专业的博士生。他是Mila的 研究学生和Airbnb的软件工程师。他拥有大学理学士学位 滑铁卢. Definitions 人工智能(AI)：一个广泛的学科，目标是创造智能机器，而不是人类和动物表现出的自然智能。 Artficial一般智力(AGI)：一个术语，用于描述未来的机器，它可以在所有有经济价值的任务中匹配并超过人类认知能力的全部范围。 AI安全:一个fi领域，研究并试图减轻未来人工智能可能给人类带来的灾难性风险。 机器学习(ML)：AI的一个子集，通常使用统计技术来赋予机器从数据中“学习”的能力，而没有明确地给出如何这样做的指令。这个过程被称为“训练”一个“模型”，使用学习“算法”，逐步提高特定任务上的模型性能。 强化学习（RL）：ML的一个领域，在这个领域中，软件代理通过在一个环境中的试验和错误来学习面向目标的行为，该环境为实现该目标的行动（称为“策略”）提供奖励或惩罚。 深度学习（DL）：ML的一个区域，试图模仿大脑中神经元层的活动，以学习如何识别数据中的复杂模式。“深层”是指当代模型中大量的神经元层，有助于学习丰富的数据表示以获得更好的性能收益。 Definitions 型号:一旦对数据进行了ML算法训练，该过程的输出就称为模型。然后可以使用它来进行预测。 自监督学习（SSL）：一种无监督学习的形式，其中不需要手动标记的数据。相反，原始数据以自动化的方式修改以创建要学习的人工标签 oSSL的一个例子是通过屏蔽句子中的随机单词并尝试预测缺失的单词来学习完成文本。 （大）语言模型（LM，LLM）：amodeltrainedontextdata.ThemostcommonusecaseofaLMistextgeneration.Theterm“LLM”isusedtodesignmulti-billionparameterLMs,butthisisamovingdefinition. 计算机视觉（CV）：使机器能够分析、理解和操纵图像和视频。 变压器:最先进的（SOTA）ML研究的核心模型体系结构。它由多个“注意力”层组成，这些层学习输入数据的哪些部分对给定任务最重要。变形金刚从语言建模开始，然后扩展到计算机视觉，音频和其他方式。 执行摘要 Research -扩散模型以令人印象深刻的文本到图像生成功能席卷了计算机视觉世界。 -人工智能攻击更多的科学问题，包括塑料回收、核聚变反应堆控制和天然产品发现。 -缩放法则重新关注数据：也许模型缩放并不是您所需要的全部。朝着单个模型前进来统治所有模型。 -社区驱动的大型模型开源以惊人的速度发生，使集体能够与大型实验室竞争。 -受神经科学的启发，人工智能研究在其方法上开始看起来像认知科学。 Industry -新贵AI半导体初创公司是否与NVIDIA相比有所下降？AI研究中的使用统计数据显示，NVIDIA领先20-100倍。 -大型科技公司扩展其AI云，并与A（G）I初创公司建立大型合作伙伴关系。 -人工智能实验室的招聘冻结和解散加速了包括DeepMind和OpenAI在内的许多巨头初创公司的形成。 -主要的AI药物发现公司拥有18项临床资产，并且首次CE标志被授予自主医学影像诊断。 -最新的代码研究AI很快被大型科技公司和初创公司转化为商业开发人员工具。 政治 -在大规模人工智能工作中，学术界和工业界之间的鸿沟可能无法修复：几乎0％的工作是在学术界完成的。 -学术界正在将接力棒传递给由非传统来源资助的分散研究集体。 -美国半导体能力的大复兴正在认真开始，但地缘政治紧张局势非常高。 -人工智能继续被注入到更多的国防产品类别中，国防人工智能初创公司获得了更多的资金。 安全 -人工智能安全研究的意识、人才和资金都在增加，但仍远远落后于能力研究。 记分卡：回顾我们从2021年开始的预测 我们的2021年预测等级证据 YesNoNoNoYesYesNoYes 变形金刚取代RNN学习世界模型，RL代理在大型和丰富的游戏中超越人类表现。 ASML的市值达到500亿美元。 Anthropic在GPT，Dota，AlphaGo的水平上发表，以确立自己作为AGI研究的第三极。 AI半导体的整合浪潮，至少有Graphcore，Cerebras，SambaNova，Groq或Mythic之一被大型技术公司或主要半导体公司收购。 小型变压器+CNN混合模型匹配ImageNet顶级1精度（CoAtNet-7，90.88%，2.44Bparams）上的当前SOTA，参数少10倍。 DeepMind显示了物理科学的重大突破。 JAX框架从1％增加到5％的每月回购创建的文件与代码。 成立了一家新的以AGI为重点的研究公司，并提供了显着的支持和专注于垂直行业的路线图（例如开发人员工具，生命科学）。 DeepMind的Gato模型在这个方向上取得了进展，在这个方向上，变压器可以预测下一个状态和动作，但它没有经过RL训练。日内瓦大学的类似GPT的变压器模型IRIS解决了Atari环境中的任务。 目前的市值约为165B美元（2022年10月3日） 。 尚未宣布新的AI半导体整合。 来自Google的MaxViT具有475M参数，几乎与CoAtNet-7在ImageNetTop-1精度上的性能（90.88%）相匹配（89.53%）。 三（！）DeepMind数学和材料科学论文。 JAX的使用量仍然占“带代码文件”每月回购的1%。 Adept.ai由Transformer的作者共同创立，并通过软件工具使用自动化专注于AGI。 奖金！预测，重新审视-迟到总比没有好！ 年预测等级证据 2018 2018 2019 2020 2020 进入台湾和韩国半导体公司成为美国和中国之间贸易战的明确组成部分。 经合组织国家的政府阻止美国或中国总部科技公司收购一家领先的 ML公司。 随着人工智能系统变得越来越强大，人工智能的治理成为一个更大的话题 ，至少有一家大型人工智能公司对其治理模式进行了重大改变。 Facebook/Meta通过3D计算机视觉在AR/VR方面取得了重大突破 。 中国和欧洲专注于国防的AI初创公司共同筹集在接下来的12个月内超过1亿美元。 美国《2022年CHIPS法案》阻止收件人扩大在中国的业务。台积电陷入十字准线。 YesYesYes排序YesYes 除其他外，英国阻止了NVIDIA对Arm的收购。 人类成立为一家公益公司。 PyTorch3D中的Implicitron。尚未应用于AR/VR。 Helsing（德国）在2022年筹集了1亿美元的A系列 2020年NVIDIA最终没有完成对Arm的收购。 。交易将于2022年正式取消。 第1节：研究 2021年预测：DeepMind在物理科学领域的突破(1/3) 在2021年，我们预测：“DeepMind在物理科学领域取得了重大突破。”此后，该公司在数学和材料科学方面取得了重大进展。 ●数学中的决定性时刻之一是对感兴趣的变量之间的关系进行猜想或假设。这通常是通过观察这些变量的值的大量实例来完成的，并可能使用数据驱动的猜想生成方法。但是这些仅限于低维，线性和通常简单的数学对象。 ●在《自然》的一篇文章中，DeepMid的研究人员提出了一种迭代工作流程，涉及数学家和监督ML模型（通常是NN）。数学家假设一个函数关联两个变量(输入X(z)和输出Y(z))。计算机生成大量的变量实例，并且NN是对数据的fit。梯度显著性方法用于确定X(z)中最相关的输入。数学家可以把他们的假设和/或生成更多的数据，直到猜想持有大量的数据。 2021年预测：DeepMind在物理科学领域的突破(2/3) 在2021年，我们预测：“DeepMind在物理科学领域取得了重大突破。”此后，该公司在数学和材料科学方面取得了重大进展。 ●DeepMind研究人员与悉尼大学和牛津大学的数学教授合作，使用他们的框架（i ）提出了一种算法，可以解决表示理论中长达40年的长期猜想，并且（ii）证明了一个新定理。 ●DeepMind在材料科学方面做出了重要贡献 很好。它表明，密度泛函理论中的精确泛函是计算电子能量的重要工具 ，可以使用神经网络来有效地近似。值得注意的是，研究人员没有约束神经网络来验证DFT函数的数学约束，而是简单地将它们纳入他们对神经网络进行fi的训练数据中。 2021年预测：DeepMind在物理科学领域的突破(3/3) 在2021年，我们预测：“DeepMind在物理科学领域取得了重大突破。”此后，该公司在数学和材料科学方面取得了重大进展。 ●DeepMid重新利用AlphaZero（他们的RL模型经过训练可以击败国际象棋，围棋和Shogi的最佳人类玩家）进行矩阵乘法。这个AlphaTesor模型能够找到新的确定性算法来乘以两个矩阵。为了使用AlphaZero，研究人员将矩阵乘法问题改写为一个单人游戏，其中每个动作都对应于一个算法指令，目标是将张量归零，以测量预测算法的正确程度。 ●寻找更快的矩阵乘法算法，一个看似简单且经过充分研究的问题，已经过时了 几十年。DeepMind的方法不仅有助于加快领域的研究，而且还促进了基于矩阵乘法的技术，即AI，成像以及基本上在我们的手机上发生的一切。 强化学习可能是下一个融