2023混合AI是AI的未来白皮书（第一部分）

20235 混未合来 AI是AI的 终端侧 第一部分： AI和混合AI 1 开启生成式AI的未来 2 目录 1摘要3 2生成式AI简介和当前趋势4 3混合AI对生成式AI规模化扩展至关重要5 3.1什么是混合AI？6 3.2混合AI的优势6 3.2.1成本6 3.2.2能耗6 3.2.3可靠性、性能和时延7 3.2.4隐私和安全7 3.2.5个性化7 3.3AI工作负载的分布式处理机制8 3.3.1以终端为中心的混合AI8 3.3.2基于终端感知的混合AI9 3.3.3终端与云端协同处理的混合AI10 4终端侧AI的演进与生成式AI的需求密切相关11 4.1终端侧处理能够支持多样化的生成式AI模型11 5跨终端品类的生成式AI关键用例12 5.1智能手机：搜索和数字助手12 5.2笔记本电脑和PC：生产力13 5.3汽车：数字助手和自动驾驶13 5.4XR：3D内容创作和沉浸式体验14 5.5物联网：运营效率和客户支持16 6总结17 1摘要 混合AI是AI的未来。随着生成式AI正以前所未有的速度发展1以及计算需求的日益增长2，AI处理必须分布在云端和终端进行，才能实现AI的规模化扩展并发挥其最大潜能——正如传统计算从大型主机和瘦客户端演变为当前云端和边缘终端相结合的模式。与仅在云端进行处理不同，混合AI架构在云端和边缘终端之间分配并协调AI工作负载。云端和边缘终端如智能手机、汽车、个人电脑和物联网终端协同工作，能够实现更强大、更高效且高度优化的AI。 节省成本是主要推动因素。举例来说，据估计，每一次基于生成式AI的网络搜索查询（query），其成本是传统搜索的10倍3，而这只是众多生成式AI的应用之一。混合AI将支持生成式AI开发 者和提供商利用边缘终端的计算能力降低成本。混合AI架构或终端侧AI能够在全球范围带来高性能、个性化、隐私和安全等优势。 混合AI架构可以根据模型和查询需求的复杂度等因素，选择不同方式在云端和终端侧之间分配处理负载。例如，如果模型大小、提示（prompt）和生成长度小于某个限定值，并且能够提供可接受的精确度，推理即可完全在终端侧进行。如果是更复杂的任务，模型则可以跨云端和终端运行。 混合AI还能支持模型在终端侧和云端同时运行，也就是在终端侧运行轻量版模型时，在云端并行处理完整模型的多个标记（token），并在需要时更正终端侧的处理结果。 随着强大的生成式AI模型不断缩小，以及终端侧处理能力的持续提升，混合AI的潜力将会进一步增长。参数超过10亿的AI模型已经能够在手机上运行，且性能和精确度水平达到与云端相似的水平。不久的将来，拥有100亿或更高参数的模型将能够在终端上运行。 混合AI方式适用于几乎所有生成式AI应用和终端领域，包括手机、笔记本电脑、XR头显、汽车和物联网。这一方式对推动生成式AI规模化扩展，满足全球企业与消费者需求至关重要。 1https://www.statista.com/chart/29174/time-to-one-million-users/ 2https://siliconangle.com/2023/02/05/generative-ai-drives-explosion-compute-looming-need-sustainable-ai/ 3https://www.reuters.com/technology/tech-giants-ai-like-bing-bard-poses-billion-dollar-search-problem-2023-02-22/ 2生成式AI简介和当前趋势 ChatGPT激发了人们的想象力和好奇心。自2022年11月推出后，短短两个月内其月活用户便达 到1亿，成为有史以来增长速度最快的消费类应用和第一个杀手级的生成式AI应用。随着创新节奏的加快，想要紧跟生成式AI的发展速度，难度越来越大。大型聚合网站的数据显示，目前已有超过3,000个可用的生成式AI应用和特性4。AI正迎来大爆发时期，就像此前电视、互联网和智能手机的问世，而这仅仅是一个开始。 ChatGPT和StableDiffusion等生成式AI模型能够基于简单的提示创作出全新的原创内容，如 文本、图像、视频、音频或其他数据。这类模型正在颠覆传统的搜索、内容创作和推荐系统的方法——通过从普通产业到创意产业的跨行业用例，在实用性、生产力和娱乐性方面带来显著增强。建筑师和艺术家可以探索新思路，工程师可以更高效地编写程序。几乎所有与文字、图像、视频和自动化相关的工作领域都将受益。 网络搜索是生成式AI正在变革的诸多应用之一。另一个例子则是Microsoft365Copilot，作为一项全新的生产力特性，它能够利用生成式AI帮助编写和总结文档、分析数据，或将简单的书面想法转化为演示文稿，嵌入于Word、Excel、PowerPoint、Outlook和Teams等微软应用中。 生成式AI的出现也标志着用户开始向探索更加多样化、个性化的数字世界迈出了第一步。由于3D设计师可以借助生成式AI工具更加快速高效地进行内容开发，3D内容创作有望得到普及。这不仅将加速沉浸式虚拟体验的创建，而且能够降低个人创作者自主内容制作的门槛。 我们即将看到从生成式AI中涌现出各种各样的全新企业级和消费级用例，带来超越想象的功能。 GPT-4和LaMDA等通用大语言模型（LLM）作为基础模型，所具备的语言理解、生成能力和知 识范畴已达到了前所未有的水平。这些模型大多数都非常庞大，参数超过1千亿，并通过API向客户提供免费或付费服务。 基础模型的使用推动大量初创公司和大型组织利用文本、图像、视频、3D、语言和音频创建应用。例如，代码生成（GitHubCopilot）、文本生成（Jasper）、面向艺术家和设计师的图像生成 （Midjourney），以及对话式聊天机器人（Character.ai）。 4截至2023年4月，生成式AI应用和特性：https://theresanaiforthat.com/ 图1：生成式AI生态链使应用数量激增 据初步估计显示，生成式AI市场规模将达到1万亿美元5，广泛覆盖生态链的各个参与方。为把握这一巨大机遇，并推动AI成为主流，计算架构需要不断演进并满足大规模生成式AI日益增长的处理和性能需求。 3混合AI对生成式AI规模化扩展至关重要 拥有数十亿参数的众多生成式AI模型对计算基础设施提出了极高的需求。因此，无论是为AI模型优化参数的AI训练，还是执行该模型的AI推理，至今都一直受限于大型复杂模型而在云端部署。 AI推理的规模远高于AI训练。尽管训练单个模型会消耗大量资源，但大型生成式AI模型预计每年仅需训练几次。然而，这些模型的推理成本将随着日活用户数量及其使用频率的增加而增加。在云端进行推理的成本极高，这将导致规模化扩展难以持续。 混合AI能够解决上述问题，正如传统计算从大型主机和瘦客户端演变为当前云端和PC、智能手机等边缘终端相结合的模式。 5瑞银，2023年2月 3.1什么是混合AI？ 混合AI指终端和云端协同工作，在适当的场景和时间下分配AI计算的工作负载，以提供更好的体验，并高效利用资源。在一些场景下，计算将主要以终端为中心，在必要时向云端分流任务。而在以云为中心的场景下，终端将根据自身能力，在可能的情况下从云端分担一些AI工作负载。 3.2混合AI的优势 混合AI架构（或仅在终端侧运行AI），能够在全球范围带来成本、能耗、性能、隐私、安全和个性化优势。 3.2.1成本 随着生成式AI模型使用量和复杂性的不断增长，仅在云端进行推理并不划算。因为数据中心基础设施成本，包括硬件、场地、能耗、运营、额外带宽和网络传输的成本将持续增加。 例如，当前面向大语言模型推理的云计算架构，将导致无论规模大小的搜索引擎企业负担更高运营成本。试想一下，未来通过生成式AI大语言模型增强的互联网搜索，比如GPT，其运行参数远超1750亿。生成式AI搜索可以提供更加出色的用户体验和搜索结果，但每一次搜索查询 （query）其成本是传统搜索方法的10倍。目前每天有超过100亿次的搜索查询产生，即便基于 大语言模型的搜索仅占其中一小部分，每年增量成本也可能达到数十亿美元。6 将一些处理从云端转移到边缘终端，可以减轻云基础设施的压力并减少开支。这使混合AI对生成式AI的持续规模化扩展变得至关重要。混合AI能够利用现已部署的、具备AI能力的数十亿边缘终端，以及未来还将具备更高处理能力的数十亿终端。 节省成本也是生成式AI生态系统发展的重要一环，可以支持OEM厂商、独立软件开发商（ISV）和应用开发者更经济实惠地探索和打造应用。例如，开发者可以基于完全在终端上运行的StableDiffusion创建应用程序，对于生成的每个图像承担更低的查询成本，或完全没有成本。 3.2.2能耗 支持高效AI处理的边缘终端能够提供领先的能效，尤其是与云端相比。边缘终端能够以很低的能耗运行生成式AI模型，尤其是将处理和数据传输相结合时。这一能耗成本差异非常明显，同时能帮助云服务提供商降低数据中心的能耗，实现环境和可持续发展目标。 6摩根士丹利，《HowLargearetheIncrementalAICosts...and4FactorstoWatchNext》，2023年2月 3.2.3可靠性、性能和时延 在混合AI架构中，终端侧AI处理十分可靠，能够在云服务器和网络连接拥堵时，提供媲美云端 甚至更佳的性能7。当生成式AI查询对于云的需求达到高峰期时，会产生大量排队等待和高时延，甚至可能出现拒绝服务的情况8。向边缘终端转移计算负载可防止这一现象发生。此外，混合AI架构中终端侧处理的可用性优势，让用户无论身处何地，甚至在无连接的情况下，依然能够正常运行生成式AI应用。 3.2.4隐私和安全 终端侧AI从本质上有助于保护用户隐私，因为查询和个人信息完全保留在终端上。对于企业和工作场所等场景中使用的生成式AI，这有助于解决保护公司保密信息的难题。例如，用于代码生成的编程助手应用可以在终端上运行，不向云端暴露保密信息，从而消除如今众多企业面临的顾虑 9。对于消费者使用而言，混合AI架构中的“隐私模式”让用户能够充分利用终端侧AI向聊天机器人输入敏感提示，比如健康问题或创业想法。此外，终端侧安全能力已经十分强大，并且将不断演进，确保个人数据和模型参数在边缘终端上的安全。 3.2.5个性化 混合AI让更加个性化的体验成为可能。数字助手将能够在不牺牲隐私的情况下，根据用户的表情、喜好和个性进行定制。所形成的用户画像能够从实际行为、价值观、痛点、需求、顾虑和问题等方面来体现一个用户，并且可以随着时间推移进行学习和演进。它可以用于增强和打造定制化的生成式AI提示，然后在终端侧或云端进行处理。用户画像保留在终端内，因此可以通过终端侧学习不断优化和更新。 个性化不仅仅适用于消费者，企业或机构可以借助它标准化代码的编写方式，或者制作具有特殊语气和声音的公共内容。 7https://www.qualcomm.com/news/onq/2023/02/worlds-first-on-device-demonstration-of-stable-diffusion-on-android 8https://www.digitaltrends.com/computing/chatgpt-is-at-capacity-and-is-frustrating-new-people-everywhere/ 9https://www.pcmag.com/news/samsung-software-engineers-busted-for-pasting-proprietary-code-into-chatgpt 3.3AI工作负载的分布式处理机制 我们期望打造能够支持不同工作负载分流方式的混合AI架构，可以根据模型和查询复杂度进行分布式处理