2024高通AI白皮书-让AI触手可及

高通AI白皮书 让AI触手可及 QualcommAIWhitePaper 高通白皮书 AI QualcommAIWhitePaper 序言 PREAMBLE 携手合作拥抱AI终端创新的黄金时代 高通公司中国区董事长孟樸 一年前，高通公司发布了《混合AI是AI的未来》白皮书，率先向业界分享了对人工智能（AI）技术发展趋势的洞察。那时，ChatGPT等生成式AI初露锋芒，这一现象级的应用引发了产业界对这场AI技术革命的广泛探讨和巨大期待。人们开始意识到，生成式AI将为各行各业生产力的提升带来质变。从那时起，大模型技术日新月异，商业化应用的步伐不断加快。当每个人都希望无时无刻地拥有“个人大模型”时，生成式AI走向终端，成为了一个不可逆转的趋势。智能终端的新应用、新形态、新场景，正在为AI技术的普及提供广阔的空间，AI终端创新的黄金时代已经到来。 从云到端：智能终端迎来新增长周期，让AI真正触手可及 当生成式AI展现出强大的能力和前景，我们也认识到，AI技术的真正价值在于其普惠性——要实现AI人人可享、人人可用，需要让AI技术更加贴近用户，在人们触手可及的终端上运行。 由此，AI的计算重心正在从云端向终端迁移。这是由市场需求、技术趋势和用户体验共同驱动的结果。从主机到智能手机、个人电脑（PC）等终端，计算能力的下沉使得这些终端也能够进行AI加速计算。这种分布式计算平台的运行，不仅提高了计算效率，也加速了AI在终端侧的演进。与此同时，AI能够本地运行，并根据用户需求与云端交互，人机交互将变得更自然、更即时、更加个性化，隐私性也更有保障。在这个过程中，5G作为关键的连接“底座”，为AI在云端、边缘云和终端侧协同奠定了坚实的基础。预计到2025年底，全球5G连接规模将达到25亿1。这正是“5G+AI”协同发展所带来的令人兴奋的变革——它改变了用户体验的定义，丰富了千行百业的智能连接用例，也推动了新一轮终端创新的浪潮。 在高通看来，这也正是生成式AI的革新意义——智能终端让AI成为无处不在的个人助理，推动终端与云端的融合，为智能手机带来新的互动方式，让汽车成为全新的运算空间，为下一代PC带来强大的AI能力，智能终端市场迎来了新的增长动力。 ¹GSMI、GTI、中移智库：5G新技术创造新价值 智能手机、PC、智能网联汽车位于AI终端创新的最前沿。其中，智能手机市场规模庞大，年出货量高达十几亿台。目前，众多手机厂商积极推广生成式AI应用，使得智能手机有望成为生成式AI发展最快的领域之一。据预测2，生成式AI智能手机出货量将在2023到2027年迅速增长，预计2024年出货量占比达到11%，到2027年将达到 5.5亿部，占比43%，年均复合增长率为49%。 AI规模化扩展 赋从“能百终模端”侧到“百端”：让高性能的AI处理成为可能， AI应用场景不断拓展，各类算法模型日趋多样化和复杂，对底层算力的需求也与日俱增。如何将“大模型”高效装载到“小设备”，满足多样化的生成式AI用例？——这有赖于终端算力的革新升级。 你的智能手机将成为个人AI助理的载体，帮你完成信息查找、场景识别、图像处理等各种任务。然而，这些任务对计算资源和处理能力的要求不尽相同。这就需要从以通用计算为核心的计算架构，向更加高性能的异构AI计算架构升级，让CPU、GPU和NPU等 不同的计算单元“各司其职”。只有协同使用这些计算单元，异构计算才能在应用性能、能效和电池续航上实现最优化，让AI助理如虎添翼，赋能增强的生成式AI体验。 作为AI前沿科技的开拓者和探索者，我们看到，终端侧AI规模化扩展正在点燃产业界的热情和信心，推动智能终端软硬件和生态层面的创新。我们也倍感自豪，高通能够成为推动这一进程的重要力量。今年3月，我们发布了《通过NPU和异构计算开启终端侧生成式AI》白皮书，分享了高通在异构计算架构和NPU研究方面的创新成果。事实上，早在2007年，也就是生成式AI进入大众视野的15年前，高通就开始了对NPU的研究。多年来，高通致力于将高性能低功耗的AI计算能力带入终端设备，打造了专为AI定制设计的全新计算架构。通过异构计算AI引擎，我们将性能卓越的CPU、NPU和GPU进行组合，为行业提供了可行的解决方案，支持生态系统在跨多品类终端上开发并实现生成式AI用例、体验和领先产品，让智能计算无处不在。 从共享机遇到共建生态：共创AI终端创新的黄金时代 终端侧AI规模化扩展的发展浪潮，为大模型服务商、终端厂商、算力提供商、应用开发者等产业链各方，带来了前所未有的发展机遇。据预测3，对端侧AI能力的需求可能会引发新一轮的换机热潮，并有助于提高设备的平均销售价格（ASP），AI能力将成为手机厂商推进高端化的有效发力点。小米、荣耀、OPPO、三星等品牌均已推出支持丰富生成式AI应用的旗舰机型。在PC领域，预计到2027年4，超过60%出货的PC将是AIPC。 ²Counterpoint：生成式AI智能手机出货量将大涨，2027年占比达43%³Canalys：洞悉中国手机市场的AI趋势与潜力 4Canalys：Canalys报告摘要：AIPC的现在和未来 面对AI终端产业机遇，我们始终相信，要实现让智能计算无处不在、AI触手可及，需要产业链上下游的通力合作，需要包括中国在内的全球生态系统的创新与协作。这将加速AI技术在各领域的普及与应用，为形成新质生产力蓄势赋能。高通的AI领先优势得益于与业界的深度合作。无论是高通的异构计算能力，还是可扩展的AI软件工具等，都需要与客户的终端深度结合才能实现。我们也很高兴地看到，高通的AI解决方案和骁龙平台正在成为推动终端侧AI体验的关键引擎——手机厂商基于第三代骁龙8移动平台，为消费者打造突破性的AI体验；PC厂商通过骁龙X系列平台产品组合，为企业用户和消费者带来强大生产力、丰富创造力和沉浸式娱乐体验；汽车厂商也基于骁龙数字底盘，将智能网联汽车上的生成式AI应用与云端AI相结合，为用户创造更好的驾乘体验。目前，高通AI引擎赋能的终端产品出货量已经超过了20亿。 与此同时，为了与生态伙伴共建开放生态，高通推出了AIHub，让开发者充分发挥前沿技术的潜力，共同推进终端侧AI的规模化商用进程。我们希望能够打造一个横向生态系统，让所有模型在终端上可以和谐共生，带来跨多个生态系统的全新AI体验。 在终端侧AI规模化扩展的机遇面前，我们倍感振奋，将一如既往地通过技术创新与合作共赢，担当推动终端侧AI发展的重要力量。期望各界能够从我们最新结集发布的 《让AI触手可及——高通AI白皮书》中，更加系统性地了解高通在AI技术演进和应用落地方面的见解和洞察。这不仅是高通在AI领域持续探索、不断突破的有力见证，也凝聚了高通与行业伙伴共同智慧的结晶。 让我们携手共同迈向激动人心的AI新时代，一同探索AI终端创新的无限可能，见证AI科技变革千行百业、成就人类美好生活的壮阔进程。 2024年世界移动通信大会（MWC）期间，高通凭借领先的AI技术创新，荣获全球移动大奖（GLOMO奖）的“最佳人工智能创新奖”5，专为生成式AI而生的移动平台第三代骁龙8荣获“设备创新突破奖”6，赋能智能手机体验的全面突破，让智能计算无处不在。 全球移动大奖（GLOMO奖）是全球数字智能领域的最高奖项，表彰推动移动行业进步的巨擘级创新7。 5奖项名称BestAIInnovation，请以英文为准 6奖项名称Breakthroughdeviceinnovation，请以英文为准 7奖项信息源自官方介绍，https://www.mwcbarcelona.com/mobile-awards 第三代骁龙8 2024设备创新突破奖 高全通球连移续动2年大入奖围 高通人工智能引擎 2024最佳人工智能创新奖 Tableofcontents 第一部分PARTONE 通过NPU和异构计算开启终端侧生成式AI 1.摘要02 2.处理器集成于SoC中的诸多优势03 3.生成式AI需要多样化的处理器04 4.NPU入门06 5.高通NPU：以低功耗实现持久稳定的高性能AI08 6.异构计算：利用全部处理器支持生成式AI11 7.高通AI引擎：面向生成式AI的业界领先异构计算14 7.1高通AI引擎中的处理器14 7.2高通AI异构计算的系统级解决方案15 7.3案例研究：使用异构计算的虚拟化身AI个人助手16 8.骁龙平台领先的AI性能18 8.1第三代骁龙8的领先智能手机上AI性能18 8.2骁龙XElite的领先PC上AI性能19 9.通过高通软件栈访问AI处理器20 10.总结23 Tableofcontents 第二部分PARTTWO 终端侧AI和混合AI开启生成式AI的未来 1.摘要26 2.生成式AI简介和当前趋势27 3.混合AI对生成式AI规模化扩展至关重要30 3.1什么是混合AI？30 3.2混合AI的优势30 3.2.1成本30 3.2.2能耗32 3.2.3可靠性、性能和时延32 3.2.4隐私和安全32 3.2.5个性化33 3.3AI工作负载的分布式处理机制33 3.3.1以终端为中心的混合AI33 3.3.2基于终端感知的混合AI35 3.3.3终端与云端协同处理的混合AI37 4.终端侧AI的演进与生成式AI的需求密切相关40 4.1终端侧处理能够支持多样化的生成式AI模型42 5.跨终端品类的生成式AI关键用例43 5.11智能手机：搜索和数字助手43 5.2笔记本电脑和PC：生产力43 5.3汽车：数字助手和自动驾驶44 5.4XR：3D内容创作和沉浸式体验46 5.5物联网：运营效率和客户支持49 第三部分PARTTHREE 高通在推动混合AI规模化扩展方面独具优势 1.摘要52 2.高通技术公司是终端侧AI的领导者53 2.1持续创新54 2.1.1我们AI技术的发展历程54 3.我们在终端侧生成式AI领域的领导力55 3.1突破终端侧和混合AI边界55 3.2负责任的AI56 4.卓越的终端侧AI技术和全栈优化57 4.1算法和模型开发58 4.2软件和模型效率58 4.2.1量化62 4.2.2编译62 4.3硬件加速63 5.无与伦比的全球边缘侧布局和规模66 5.1手机67 5.2汽车67 5.3PC和平板电脑67 5.4物联网68 5.5XR68 需要 生成式AI时代何种算力? 通过和异构计算开启终端侧生成式 高通AI白皮书第一部分 NPUAI Unlockingon-devicegenerativeAI withanNPUandheterogeneouscomputing 通过和异构计算开启终端侧生成式 第一部分PARTONE NPUAI Unlockingon-devicegenerativeAI withanNPUandheterogeneouscomputing 1.摘要 生成式AI变革已经到来。随着生成式AI用例需求在有着多样化要求和计算需求的垂直领域不断增加，我们显然需要专为AI定制设计的全新计算架构。这首先需要一个面向生成式AI全新设计的神经网络处理器（NPU），同时要利用异构处理器组合，比如中央处理器（CPU）和图形处理器（GPU）。通过结合NPU使用合适的处理器，异构计算能够实现最佳应用性能、能效和电池续航，赋能全新增强的生成式AI体验。 NPU专为实现低功耗加速AI推理而全新打造，并随着新AI用例、模型和需求的发展不断演进。优秀的NPU设计能够提供正确的设计选择，与AI行业方向保持高度一致。 高通正在助力让智能计算无处不在。业界领先的高通Hexagon™NPU面向以低功耗实现持续稳定的高性能AI推理而设计。高通NPU的差异化优势在于系统级解决方案、定制设计和快速创新。通过定制设计NPU以及控制指令集架构（ISA），高通能够快速进行设计演进和扩展，以解决瓶颈问题并优化性能。HexagonNPU是高 通业界领先的异构计算架构——高通AI引擎中的关键处理器，高