硅谷先知凯文凯利谈监管AI20230702

凯文·凯利监管AI2023-07-02□30年前，互联网刚刚萌芽、就连个人电脑都很稀 罕，一位科技作家开始了自己对当时社会各界的一次前沿漫游。在与世界最有智识的人们交流之后，他窥探到了一些未来图景，并 最终写成一本大部头著作《失控》（1994年）。直至十多年后，当移动互联网、智能手机时代到来，人们惊讶地发现，那些时下最新的概念「全球信息互联、分布式系统、数字货 币、云计算等」早被这本书预言。 这名科技作家就是凯文·凯利，也被称为KK。他是《连线》杂志的创办人，科技观察家和「预言者 」。2010年，《失控》中文版推出，KK也开启了在中国的一系列探访，并逐渐被国人熟知 。 站在今天的节点，通用人工智能（AGI）正在萌芽、一场时代变革即将拉开，这又隐隐和《失控》一书中的预言相呼应。KK当时就预测，人类最终会和机器走向统一，「机器正在生物化、而生物正在工程化」。用他自己的话说，《失控》只讲了一个内容，那就是如何 打造一个「复杂系统」——机器人、人工智能（AI）等都可被视作复杂系统，他认为这一思想至今依然适用。 01□即便OpenAI□没有做出ChatGPT，□很快也会有其他公司做出来 Q：无论中美，最近人们都在探讨大模型。你对这一波大模型的技术变革有什么感受？会觉得十分震撼吗？ 凯文·凯利：人工智能（AI）已经存在了几十年。当AI模型开始采用神经网络和深度学习时 ，出现了一个重大的飞跃，它们变得越来越庞大。大约4、5年前，它开始产生非常庞大的transformer模型（采用自注意力机制的深度学习模型）。而最近两年，它开始与大型语 言模型进行接口交互。 其实最近，AI的重大变化不在于它的能力，这方面它的表现并没有好多少。最近AI真正的 变化是，它让我们有了一个对话用户界面，可以用（自然）语言与AI进行真正的交流。而在此之前，人们需要学习大量的编程知识、非常精通才能使用AI。但现在，突然之间每个人都会用AI了。这才是真正令人兴奋的部分。 李志飞：我同意KK说的，目前大语言模型最主要的变化是自然语言交互能力的提升。这确实是很多普通老百姓能感受到的，也正因如此，今天ChatGPT才会产生这么大的社会影响力 。 但我认为，今天的大模型在能力上也有很大的变化，而且正是这种变化才使得它的自然交 互变得可能。因为实现自然交互背后，需要AI有很强的知识、理解能力、语言能力、推理规划能力等等。AI必须在这些基础能力上有突破，才能实现自然语言的交互。 并且我认为未来大模型的能力，将不仅仅是自然语言交互。比如写程序、企业自动化流程、机器人自动化等事情，都是不交互的，但它们未来也会成为可能。 Q：我非常认同AI跟人类更好的对话能力，将会带来一波技术和商业的范式革命。如果说ChatGPT是AI发展的第二曲线，那它的出现到底是必然还是偶然？ 凯文·凯利：ChatGPT的能力超出了所有人的预期。我不认为有人预料到这一点，包括人工智能领域的人士。实际上，大多数研究人员都不知道ChatGPT的工作原理，他们想努力改进它，但很困难，因为并不知道它是如何工作的。因此，ChatGPT的出现是一个意外。尽管ChatGPT非常令人惊讶，但我们也看到了它的局限性。它主要的限制在于，这个模型是根据人类创作内容的平均水平进行训练的，因此它倾向于产生平均水平的结果。而我 们常常想要的并不是平均水平、而是超过平均水平的东西。这很难做到。 其次，这些模型的优化目标是合理性，而不是准确性。因此，如何使它们更准确是当前所有人都在努力解决的重大挑战。 李志飞：我觉得ChatGPT的出现，从短期看是偶然的，但长期看是必然的。可以说，去年底OpenAI做出ChatGPT是偶然的，但就算它没做出来，很快也会有其他公司做出 来。这在技术的历史上无数次重演。以深度学习为例，2012年AlexNet第一个做出imageannotation（图像标注），但当时很多信念、工程能力都很强的团队也在做，如果AlexNet没做出来，其他人也会做出来。还有2017年Google做出transformer，都是在解决之前RNN、LSTM这些序列模型低扩展性等问题，如果Google没做出来，其他团队也会做出来。 ChatGPT诞生的背景是，transformer已经很成熟了、而且我们有很强的算力去 训练互联网的海量数据，所有ChatGPT必需的元素都已经具备，它的诞生是必然的。只不过，OpenAI在那个时间点把它组合得最好。 Q：聊到必然性和偶然性的问题，让我想到了最近非常热的一个词「涌现」。这个词在KK《失控 》这本书出现过至少88次，今天我们应该如何理解涌现这个词的意义？ 凯文·凯利：从英语的角度来看，「emergence」是一个术语，指的是一个系统的行为、一 整堆相互连接的事物，比如互联网、机器人、身体、生态系统甚至整个世界，其行为不包含在任何单个部分的行为中。比如蜂巢可以记住超出单个蜜蜂寿命的事物，因此蜂巢本身具有一种行为、能力和力量，而单个部分没有。我们称之为「emergence」。 同样，许多正在生成的人工智能也是「涌现」的。因为在模型中没有一个地方能够解释它的来源，它需要所有部分共同协作才能产生这种新的能力。就像我们的大脑没有一个地方有「思想」，「思想」是从整个神经元中「涌现」出来的。思维、进化、学习等事物都可以从系统中「涌现」出来。 李志飞：我对「涌现」的了解来自《复杂》这本书，它讲到「moreisdifferent」 ，「多即不同」。就像中国的一句古话，「量变导致质变」。大模型第一次讲到「涌现」，是去年底斯坦福跟Google发的一篇文章。他们通过实验发现，通过增加大模型的规模、当到达某 个临界点时，它会突然「涌现」某种能力。 我现在感觉，「涌现」这个词其实被滥用了。因为我们解释不清楚大模型的能力是怎么来的，就称之为「涌现」，这个词不可解释、也不可操控，对我们训练和应用大模型没有任何帮助。现在，大家不再研究「涌现」了，而是更多研究大模型参数量跟最终能力表现之间的量化关系，这可能对我们了解 、把控大模型更有帮助。 Q：我们可以理解为，「涌现」会导致「失去控制」吗？ 凯文·凯利：这样理解并不完全正确。当然，它会有「失去控制的部分」，如果你希望能够对「涌现 」行为的力量加以利用，你可能需要容忍一些事物不受你的控制。目前在人工智能领域，我们对它的理解和控制可能还不够好，但这实际上是为了获得最佳结果所必需的。 但与此同时，我们又不能让一切都「失控」，我们必须进行一定程度的「控制」，也就是引导、管理人工智能。再次强调，我们不希望过度限制、但也必须实现一定程度上的控制。不过，我们很可能永远无法完全控制它们，特别是对于更强大的人工智能，我们很可能永远无法完全理解其工作方式。这就是其中的权衡。 Q：你写下《失控》这本书已经过去很多年了，在今天这个节点、结合着这一波的AI革命，你觉得《失控》有什么值得重新校准的部分吗？ 凯文·凯利：我认为我在《失控》这本书中并没有过多谈论人工智能和失控，它其实主要讲了如何将简单事物制造成复杂事物。有一种叫做罗德尼·布鲁克斯的子系统架构，它提到你可以通过将智能的各个部分嵌入其中，制造一个复杂的机器人。这个通向复杂的过程是， 你要在已经正常工作的事物基础上叠加其他东西。（布鲁克斯的架构理论提出，更高层级的行为需要包容较低层次的行为）。 就像昆虫，即使你割掉它的头，它也可以走路，因为行走的功能更多由局部完成。就像我们大脑有一个负责呼吸和其他自主功能的核心，我们是在这个基础上添加了更多的复杂层次。今天，当人们制造机器人和人工智能、并试图使它们更复杂时，这个思想仍然有效。这实际上是我在《失控》中谈论的唯一内容，而我认为这个观点仍然成立。 Q：我记得你之前有一个很有意思的视角，就是「假设科技是一种生命」，当它涌现出接近人类的智能，那它接下来会想要什么？这会对商业领域和人类社会带来什么影响？凯文·凯利：技术是一种被我称之为「第七生命王国」的东西。我们加速了生命的进化，使它进入一个「干燥」的领域，不再需要「湿润」的环境，而是可以存在于硅中。我们可以利用我们的思维，制造出其他类似生命的技术。 它们具有适应性，可以学习、成长。我的观点是，基本上技术和生命一样，会追求同样的东西。例如，它们会在进化中增加多样性，也会变得更加专业化、更具体。我们身体有52种不同的细胞，包 括心脏细胞、骨细胞和骨骼细胞等。我们也会制造出专门的AI，执行语言翻译、图像生成和自动驾驶等特定的任务。另外，技术还会跟生命一样变得更复杂，这是显而易见的。 最后，技术还将像生命一样「互利共生」。生命在演化过程中如此复杂，以至于它只与其他生命接触 ，从不接触非生物材料。比如你肠道内的细菌。它们只被其他活体细胞包围。未来，也会有一些AI 不是为人类设计的，而是专门为其他AI服务。例如，将会有专门用于维护其他AI的AI、只与其他AI交流的AI。 李志飞：我想从一个工程师的角度解释一下AI跟生命的关系。几年前，很多人老是问我，「Alphago（第一个打败围棋世界冠军的计算机程序）到底是几岁的智商？」当时我特别不喜欢这种问题，因为没法回答。那时候，AI虽然可以下围棋、智商很高，但它并不能像3岁小孩一样进行自然语言对话。当时它跟人的机理是本质上不一样的。 但是最近这一阵子，我特别喜欢把AI比作一个小孩。我觉得核心是因为，今天的AI已经 具备了小孩拥有的、真正的通用智能能力，比如知识、逻辑、推理、规划等等。所以我想说，今天的AI更像一个生命体了。它在智商上像一个5岁小孩，在知识上可能既像一个大学教授、也 像一个刚出生的婴儿，这取决于它有没有见过那些数据。 基于这个理解，我觉得关于AI到底想要什么，需要重新思考。对于一个5岁小孩来说，他接 下来首先会自我净化，其次是自我复制、进行协作。关于这个问题，我自己也没有很好的答案。02□未来5000天，我们将度过□一个狭小而紧迫的过渡期□Q：当AI的能力快速 成长时，很多普通人感到焦虑，害怕自己失去竞争力。KK在这个问题上有什么思考和建议吗？凯文·凯利：即使AI技术已经发展了20年，但人们却觉得它是一夜成功，对它的成长速 度和能力感到焦虑。我们总是容易想象最糟糕的情况，而不是最好的情况。我认为，应对变革焦虑的一个方法是回顾过去。实际上，过去人类也曾有过这种焦虑，但我们想象的糟糕情形从来没有发生过 。这次很可能是一样的。 我发现自己应对焦虑的最好办法是尝试使用它们。我发现大多数焦虑来自于那些没有使用过AI的人，他们对AI保持着一种距离感。其实他们一旦开始尝试和使用，就会看到AI既有好处 ，也有局限性和危害。这将减少他们的焦虑。 李志飞：AGI今天不发生，明天也会发生。既然它不可阻挡，你就应该拥抱、理解它。目前对我来说，AGI是一个思维的伙伴。我很多问题都会跟他聊，它的知识特别全面，能从 很广、很全的角度给我建议。我觉得这可能是人类拥抱AI的一种很好的形式。 与此同时，我们可以看到，今天的大模型离真正的AGI，还差一些特别关键的能力。比如逻辑推理和复杂任务规划的能力，如果你想要AI基于某一个目标，拆解步骤、实现目标，现在它还没有那么擅长。 Q：KK自己也是一名内容创作者，你觉得在AI时代，创作者不可被AI替代的最终价值会是什么？ 凯文·凯利：我在写作时已经使用过人工智能和其他工具。我认为，没有人会因为人工智能而失去工 作。因为我无法找到一个例子，证明有一个艺术家因为人工智能而失去了工作。这是一种想象中的恐惧 ，一种不存在的问题。就业可能是与人工智能相关的最不严重的问题。 我想说的是，消失的可能是你的工作描述，也就是你实际从事的工作内容可能会变化。一些人观察到 ，他们50%的工作都可以由人工智能来完成，而另外50%工作会被人工智能增强和放大 。所以未来，可能有一半的工作不再需要人们去做，而人们又能把剩下的50%工作将做得更好。这通常是我们会看到的模式。 当然，确实有一些特定类型的工作会消失