重磅！ 2022年剑桥AI全景报告出炉，文本生成图像掀起新风暴！

stateof.ai#stateofai 人工智能状态报告 2022年10月11日 内森benaich伊恩贺加斯 关于作者 内森benaich伊恩贺加斯 内森的普通合伙人空气街资本，一家投资于人工智能优先技术和生命科学公司的风险投资公司。他创立了RAAIS和 London.AI（工业和研究的AI社区），RAAIS基金会（资助开源AI项目）和Spinout.fyi（改善大学衍生创建）。他在威廉姆斯学院学习生物学，并在剑桥大学获得癌症研究博士学位。 伊恩是一个联合创始人复数，一个为经验丰富的创始人提供的投资平台，以帮助最雄心勃勃的欧洲初创公司。他是 伦敦大学学院的客座教授，与MarianaMazzucato教授一起工作。Ian是音乐会服务公司Songkick的联合创始人兼首席执行官。他于2005年开始研究机器学习，他的硕士项目是一个计算机视觉系统，用于对乳腺癌活检图像进行分类。 人工智能（AI）是科学和工程的多学科领域，其目标是创造智能机器。 我们相信，在我们日益数字化、数据驱动的世界中，人工智能将成为技术进步的力量倍增器。这是因为今天我们周围的一切，从文化到消费品，都是智能的产物。 《人工智能现状报告》现已进入第五个年头。将这份报告视为我们看到的最有趣的事情的汇编，目的是引发关于人工智能状况及其对未来影响的知情对话。 我们在报告中考虑了以下关键维度： -研究：技术突破及其能力。 -行业：人工智能的商业应用领域及其业务影响。 -政治：人工智能的监管、其经济影响和人工智能不断变化的地缘政治。 ——安全识别和减轻未来人工智能系统可能给我们带来的灾难性风险。 -预测：我们认为未来12个月会发生什么，以及2021年的绩效评估，以保持我们的诚实。 所产生的内森Benaich(@nathanbenaich),伊恩·贺加斯(@soundboy),OthmaneSebbouh(@osebbouh)和Nitarshan拉库马(@nitarshan)。 谢谢你！ OthmaneSebbouh 研究助理Othmane是ENSParis ，CREST-ENSAE和CNRS的ML博士生。 他拥有ESSEC商学院的管理硕士学位和ESSEC管理硕士学位。 ENSAE和巴黎综合理工学院。 Nitarshan拉库马 研究助理Nitarshan是剑桥大学人工智能专业的博士生。他是Mila的研 究生和Airbnb的软件工程师。他拥有美国大学学士学位 滑铁卢。 定义 人工智能(AI):一门广泛的学科，目标是创造智能机器，而不是人类和动物所展示的自然智能。 人工总体智能(AGI):一个术语，用于描述未来的机器，这些机器可以在所有具有经济价值的任务中匹配并超越人类的全部认知能力 。 人工智能安全:一个研究和试图减轻未来人工智能可能对人类构成的灾难性风险的领域。 机器学习(ML):人工智能的一个子集，通常使用统计技术使机器能够从数据中“学习”，而无需明确给出如何学习的说明。这个过程被称为“训练”一个 “模型”，使用学习“算法”逐步提高特定任务的模型性能。 强化学习(RL):ML的一个领域，其中软件代理通过反复试验来学习面向目标的行为，该环境中提供奖励或惩罚以响应其为实现该目标而采取的行动（称为“策略”）。 深度学习(DL):ML的一个区域，试图模仿大脑神经元层的活动，以学习如何识别数据中的复杂模式。“深度”是指当代模型中的大量神经元层，有助于学习丰富的数据表示，以实现更好的性能提升。 定义 模型:在数据上训练ML算法后，该过程的输出称为模型。然后，这可用于进行预测。 Self-supervised学习(SSL):一种无监督学习形式，不需要手动标记的数据。相反，原始数据以自动方式进行修改，以创建要学习的人工标签。SSL 的一个例子是通过屏蔽句子中的随机单词并尝试预测缺失的单词来学习完成文本。 (大)语言模型(LM,LLM):在文本数据上训练的模型。LM最常见的用例是文本生成。术语“LLM”用于指定数十亿个参数LM，但这是一个移动的定义 。 计算机视觉(简历):使机器能够分析、理解和操作图像和视频。 变压器:大多数最先进的（SOTA）ML研究核心的模型架构。它由多个“注意”层组成，这些层学习输入数据的哪些部分对给定任务最重要。变形金刚从语言建模开始，然后扩展到计算机视觉、音频和其他模式。 执行概要 研究 -扩散模型凭借令人印象深刻的文本到图像生成功能席卷了计算机视觉世界。 -人工智能解决了更多的科学问题，包括塑料回收、核聚变反应堆控制和天然产物发现。 -缩放法则重新关注数据：也许模型缩放并不是您所需要的全部。朝着单一模式来统治所有内容的方向发展。 -社区驱动的大型模型开源以惊人的速度发生，使集体能够与大型实验室竞争。 -受神经科学的启发，人工智能研究的方法开始看起来像认知科学。 行业 -新贵AI半导体初创公司与NVIDIA相比是否有所作为？人工智能研究中的使用统计数据显示，NVIDIA领先20-100倍。 -大型科技公司扩展其AI云，并与A（G）I初创公司建立大型合作伙伴关系。 -招聘冻结和解散人工智能实验室促成了许多来自DeepMind和OpenAI巨头的初创公司的形成。 -主要的人工智能药物发现公司拥有18项临床资产，第一个CE标志被授予自主医学成像诊断。 -用于代码研究的最新人工智能被大型科技公司和初创公司迅速转化为商业开发人员工具。 政治 -学术界和工业界在大规模人工智能工作中之间的鸿沟可能是无法修复的：几乎0%的工作是在学术界完成的。 -学术界正在将接力棒传递给由非传统来源资助的分散研究集体。 -美国半导体能力的大回流正在认真启动，但地缘政治紧张局势却高涨。 -人工智能继续被注入更多的国防产品类别，国防人工智能初创公司获得更多的资金。 安全 -人工智能安全研究的意识、人才和资金都在提高，但仍然远远落后于能力研究。 从2021年记分卡:回顾我们的预测 我们2021年预测成绩的证据 是的 没有 没有没有 是的 是的 没有 是的 变形金刚取代了RNN，以学习世界模型，通过这些模型，RL代理在大型和丰富的游戏中超越了人类的表现。 阿斯麦公司的市值达到500美元。 Anthropic在GPT，Dota，AlphaGo的层面上发表文章，以确立自己作为AGI研究的第三极。 人工智能半导体的整合浪潮，其中至少有一个Graphcore，Cerebras， SambaNova，Groq或Mythic被大型科技公司或主要半导体现有公司收购。 小型变压器+CNN混合模型匹配ImageNet上当前SOTAtop-1精度（ CoAtNet-7，90.88%，2.44B参数），参数减少10倍。DeepMind展示了物理科学的重大突破。 JAX框架从每月回购的1%增长到5%，这是由PaperswithCode衡量的。 一家新的以AGI为重点的研究公司成立，并拥有强大的支持和专注于垂直行业（例如开发人员工具，生命科学）的路线图。 DeepMind的Gato模型在这个方向上取得了进展，在这个方向上，转换器预测下一个状态和动作，但它没有用RL训练。日内瓦大学的GPT类变压器模型IRIS解决了Atari环境中的任务。 目前的市值约为$165B（2022年10月3日）还没有。 尚未发生新宣布的AI半导体整合。 来自Google的MaxViT具有475M参数，几乎与CoAtNet-7的性能（89.53%）在ImageNettop-1 精度上（90.88%）相当。 三（！DeepMind数学和材料科学论文。 JAX的使用量仍然占PaperswithCode每月回购的<1%。 Adept.ai由Transformer的作者共同创立，专注于通过软件工具使用自动化的AGI。 奖金！预测，重新审视-迟到总比没有好！ 年预测评分的证据 2018 2018 2019 2020 2020 接触台湾和韩国半导体公司成为中美贸易战的明确组成部分。 经合组织国家的政府阻止美国或中国总部的科技公司收购领先的ML公司。 随着人工智能系统变得越来越强大，人工智能的治理成为一个更大的话题，至少有一家主要的人工智能公司对其治理模式进行了重大改变。 Facebook/Meta通过3D计算机视觉在AR/VR方面取得了重大突破。中国和欧洲以国防为重点的人工智能初创公司共同筹集资金 >100美元在未来12个月内。 美国2022年CHIPS法案禁止接收者在中国扩大业务。台积电陷入了十字准线。 是的是的是的 的 是的是的 英国等国阻止了英伟达收购Arm。 人为设置公共利益集团。 PyTorch3D中的隐式电子。尚未应用于AR/VR。 海辛（德国）在2022年筹集了1亿美元的A轮融资。 2020年，英伟达最终不会完成对Arm的收购。 交易将于2022年正式取消。 第一节:研究 2021年预测：DeepMind在物理科学领域的突破(1/3) 2021年，我们预测：“DeepMind发布了物理科学领域的重大研究突破。此后，该公司在数学和材料科学方面都取得了重大进展。 ●数学中的决定性时刻之一是对感兴趣的变量之间的关系提出猜想或假设。这通常是通过观察这些变量值的大量实例来完成的，并可能使用数据驱动的猜想生成方法。但这些仅限于低维、线性和通常简单的数学对象。 ●在《自然》杂志的一篇文章中，DeepMind研究人员提出了一个涉及数学家和监督ML模型（通常是NN）的迭代工作流程。数学家假设一个与两个变量（输入X（z）和输出Y（z））相关的函数。计算机生成大量变量实例，并且NN适合数据。梯度显著性方法用于确定X（z）中最相关的输入。数学家可以完善他们的假设和/或生成更多数据，直到猜想保留大量数据。 2021年预测：DeepMind在物理科学领域的突破(2/3) 2021年，我们预测：“DeepMind发布了物理科学领域的重大研究突破。此后，该公司在数学和材料科学方面都取得了重大进展。 ●DeepMind研究人员使用他们的框架与悉尼大学和牛津大学的数学教授合作，（i）提出一种算法，可以解决表示理论中长达40年的猜想，以及（ii）证明结研究中的新定理。 ●DeepMind在材料科学领域做出了重要贡献，因为 井。它表明，密度泛函理论中的精确泛函是计算电子能量的重要工具，可以使用神经网络有效地近似。值得注意的是，研究人员没有约束神经网络来验证DFT泛函的数学约束，而是简单地将它们合并到它们适合NN的训练数据中。 2021年预测：DeepMind在物理科学领域的突破(3/3) 2021年，我们预测：“DeepMind发布了物理科学领域的重大研究突破。此后，该公司在数学和材料科学方面都取得了重大进展。 ●DeepMind重新利用AlphaZero（他们的RL模型训练来击败国际象棋，围棋和将棋中最好的人类玩家）来进行矩阵乘法。这个AlphaTensor模型能够找到新的确定性算法来乘以两个矩阵。为了使用AlphaZero，研究人员将矩阵乘法问题重新转换为单人游戏，其中每个动作对应于一个算法指令，目标是将张量归零，测量预测算法离正确有多远。 ●寻找更快的矩阵乘法算法，一个看似简单且经过充分研究的问题，几十年来一直 过时。DeepMind的方法不仅有助于加快该领域的研究，而且还促进了基于矩阵乘法的技术，即AI，成像以及我们手机上发生的几乎所有事情。 强化学习可能是下一个融合突破的核心组成部分 DeepMind训练了一个强化学习系统来调整洛桑TCV（可变配置托卡马克）的磁线圈。该系统的灵活性意味着它也可以用于ITER，这是法国正在建造的有前途的下一代托卡马克。 国家。人工智能 2022 ●实现核聚变的流行途径需要使用托卡马克将极热的等离子体限制足够的时间。 ●