2023混合AI是AI的未来白皮书（第二部分）

1 混合AI是AI的未来 2023年5月 第二部分： 高通在推动混合AI规模化扩展方面独具优势 2 目录 1 摘要 .................................................................................................................................................................... 3 2 高通技术公司是终端侧AI的领导者 ...................................................................................................... 3 2.1 持续创新 .................................................................................................................................................. 4 2.1.1 我们AI技术的发展历程 ............................................................................................................... 4 3 我们在终端侧生成式AI领域的领导力 .................................................................................................. 4 3.1 突破终端侧和混合AI边界 ............................................................................................................... 5 3.2 负责任的AI ............................................................................................................................................ 5 4 卓越的终端侧AI技术和全栈优化 ........................................................................................................... 6 4.1 算法和模型开发 .................................................................................................................................... 7 4.2 软件和模型效率 .................................................................................................................................... 7 4.2.1 量化 ...................................................................................................................................................... 9 4.2.2 编译 ...................................................................................................................................................... 9 4.3 硬件加速 ................................................................................................................................................ 10 5 无与伦比的全球边缘侧布局和规模 ........................................................................................................11 5.1 手机 ......................................................................................................................................................... 12 5.2 汽车 ......................................................................................................................................................... 12 5.3 PC和平板电脑 .................................................................................................................................... 12 5.4 物联网 .................................................................................................................................................... 13 5.5 XR ............................................................................................................................................................ 13 6 总结 .................................................................................................................................................................. 13 3 1 摘要 正如白皮书第一部分所言，在云端和终端进行分布式处理的 混合AI才是AI的未来。混合AI架构，或仅在终端侧运行AI，能够在全球范围带来成本、能耗、性能、隐私、安全和个性化优势。 高通正在 助力实现 随时随地 的智能计算。高通技术公司作为终端侧AI领导者 ，面向数十亿手机、汽车、XR头显与眼镜、PC和物联网等边缘终端提供行业领先的硬件和软件解决方案，对推动混合AI规模化扩展独具优势。高通的硬件解决方案具有行业领先的能效，智能手机解决方案的能效与竞品对比，大约有两倍的优势。凭借一系列基础研究，以及 跨AI应用、模型、硬件与软件的全栈终端侧AI优化，我们的持续创新让公司始终处于终端侧AI解决方案的最前沿。 高通技术公司还专注于 为全球数十亿、由高通和骁龙®平台支持的终端提供开发和部署的简便性，从而赋能开发者。利用高通AI软件栈，开发者可以在我们的硬件上创建、优化和部署AI应用，一次编写即能实现 跨我们芯片组解决方案的不同产品和细分领域进行部署。凭借技术领导力、全球化规模和生态系统赋能，高通技术公司正在让混合AI成为现实。 2 高通技术公司是终端侧AI的领导者 凭借赋能数十亿边缘终端的终端侧AI领导力，高通技术公司正在助力打造混合AI新时代。可扩展的技术架构让我们能够采用一个高度优化的AI软件栈即可在不同终端和模型上进行工作。我们的AI解决方案旨在提供最佳能效 ，让AI无处不在。 高通AI引擎是我们终端侧AI优势的核心，它在 骁龙平台和我们其他众多产品中发挥了重要作用。高通AI引擎作为我们多年全栈AI优化的结晶，能够以极低功耗提供业界领先的终端侧AI性能，赋能当前和未来的用例。搭载高通AI引擎的产品出货量已超过20亿，赋能极为广泛的终端品类，包括智能手机、XR、平板电脑、PC、安防摄像头、机器人和汽车等。1 高通AI软件栈将 我们所有 相关的AI软件产品集成在统一的解决方案中。OEM厂商和开发者可在我们的产品上创建、优化和部署AI应用，充分利用高通AI引擎性能，让AI开发者创建一次AI模型，即可跨不同产品部署。 1 https://www.qualcomm.com/products/mobile/snapdragon/smartphones/mobile-ai 骁龙和高通品牌产品是高通技术公司和/或其子公司的产品。 4 2.1 持续创新 我们开发的低功耗、高性能AI，已经形成了一个跨智能手机、汽车、XR、PC、笔记本电脑以及企业级AI等现有市场和新兴领域的庞大终端AI生态系统。多年来，我们在照片与视频拍摄、先进连接、语音指令、安全和隐私等关键用例领域，持续利用AI赋能芯片组产品、打造差异化优势，以获得市场领先地位。 2.1.1 我们AI技术的发展历程 高通深耕AI研发已超过15年。在高通AI研究2，我们的使命是实现AI基础研究突破，并实现跨行业和用例的规模化扩展。高通正在推动AI进步，让感知、推理和行为等核心能力在终端上无处不在。我们的重要AI研究论文正在影响整个行业，推动高能效AI发展。通过汇聚领域内的杰出人才，高通正在不断突破AI可能性，塑造AI的未来。 图1：高通持续的AI研发投入是产品领导力的基础。 3 我们在终端侧生成式AI领域 的领导力 多年来，高通AI研究团队一直在探索生成式AI。生成式AI可追溯到生成式对抗网络（GAN）和变分自编码器（VAE）。最初，我们探索了生成式模型是否能够很好地压缩，并进一步提升生成痕迹（Artifact）的感知效果。我们利用VAE技术创建更好的视频和语音编解码器，将模型规模 2 高通AI研究是高通技术公司的机构。 5 控制在1亿参数以下。我们还将生成式AI理念延伸到无线领域来替代信道模型，让通信系统更加高效。 近期，我们已在终端侧实现支持超过10亿参数的生成式AI模型，比如Stable Diffusion，并计划未来在终端侧支持参数高达数百亿的模型。我们不仅在研究如何将生成式AI模型用作通用代理来构建计算架构并使用语言来描述相关任务和行为，同时也正在研究如何能够通过增加感知输入（比如视觉和音频），进一步开拓这一能力以及环境交互能力，比如对机器人生成指令或运行软件。 3.1 突破终端侧和混合AI边界 高通技术公司具有独特专长，我们能够提供在边缘侧终端上低功耗运行生成式AI所需的处理性能，例如大语言模型（LLM）等。若要让生成式AI得到广泛采用，就不能像目前这样仅在云端进行推理，还必须在终端侧进行大量AI处理。为了让生成式AI融入日常生活，AI处理需要同时使用云端和终端。最终，AI能力将成为用户选购下一款