评估企业和消费者的设备上人工智能 (AI) 机会

TABLEOFCONTENTS INTRODUCTION 人工智能（AI）市场在生成AI的可访问性的刺激下继续快速发展，这扩大了企业和消费者部署的机会。到目前为止，生成和其他AI模型大多部署在云中，但随着AI变得更容易访问，市场希望跨用例扩展，这个以云为中心的框架提出了重大的商业和技术挑战。设备上的AI能力-以及最终的混合AI-其中大型复杂模型的推理工作负载在本地执行，正在出现，以更好地支持大规模部署AI的情况。本白皮书探讨了设备上AI为企业和消费者带来的机会，以及“高效AI”应用程序在为最终用户构建强大的基于投资回报（ROI）的价值主张中的作用。 KEYTKEAWAYS •将推理工作负载移动到设备将帮助企业和消费者通过解决基础商业和技术挑战来大规模解锁AI例如数据隐私、网络和服务器延迟，以及网络和云基础设施订阅和/或成本，同时使用户能够享受各种针对其个人需求量身定制的生成AI应用程序。然而，设备上生成AI将带来围绕工作负载管理，功耗和内存负担的潜在扩展，这将需要神经处理单元（NPU）和模型缩小已经发生在今天。 评估设备上的人工智能(AI)机会 适用于企业和消费者 首席分析师：ReeceHayden分析师 ：PaulSchell，MalikSaadi 如何进行软件创新 支持设备上的GENERATIVEAI?12 企业未来应该如何- 证明他们的人工智能战略？15 •设备上生成AI将推动企业部署智能设备和新的AI模型融入现有流程，使用户能够提高生产力和效率，这要归功于潜在的节约成本和时间。例如，制造商拒绝部署增强现实(AR) 在工厂车间;然而，本地生成AI处理可以实现高价值的应用程序，这些应用程序将提供切实的ROI。 •设备上的AI将是迈向混合AI系统的第一步，这将有助于优化资源使用，应用程序性能和数据隐私，从而实现从云到设备的联合处理。实现向混合AI的飞跃将需要：能够在多个云资源和多个设备和操作系统（OS）中分配AI工作负载的智能系统 ；以及集成的模型架构和明确定义的AI工作负载规则。 •设备上生成AI商业成功的最大障碍将是软件不成熟和针对体验的应用程序，而不是生产力。鼓励最终用户购买新设备仍然具有挑战性；这只能通过开发一个强大的ROI驱动的业务案例来实现，该案例可以节省时间或金钱。要实现这一目标，市场需要超越设备硬件，并开发基于小型优化模型的杀手级生产力AI应用程序。像高通这样的市场领导者已经很快意识到与云、软件和人工智能供应商(如谷歌、元和微软)合作开发全栈产品的重要性。 人工智能的状态 概述 AI对消费者或企业来说并不陌生，但是ChatGPT的引入已经使公众意识到了生成AI的功能，并使模型，工具和应用程序得到了更广泛的使用。现在，生成AI应用被用于增强消费者和企业流程。这些基本的聊天机器人或内容 生成应用程序使用大型语言模型（LLM）或大型视觉模型（LLM），在数十亿甚至数万亿的数据点上训练，以确定能够基于输入或提示生成内容（即文本，图像，声音）的神经网络结构中的参数（权重和偏差）。 虽然大规模使用生成AI带来了机会，但它也会带来巨大的风险和焦虑，每个人在使用之前都必须意识到这一点，如图1所示。 图1:生成的AI风险 （来源：ABIResearch） 数据隐私对数据如何存储、利用和 可能泄露。 偏置 AI模型可能会放大训练/微调 数据集中存在的偏见。 准确性 幻觉和不可靠性限制了可部署 的用例。 知识产权(IP)不清楚谁拥有第三方拥有的公共模型生成的内容。 但生成AI并不是为消费者和企业提供价值的唯一框架。图2解释了其他四个传统的AI框架。生成AI能够处理相同的应用程序和用例，但通常由于价格，内存，训练数据和风险等其他考虑因素，使用其他“传统”AI框架。预计大多数消费者和企业用例将利用传统和生成AI模型的组合。每一个都有适合不同用例的核心能力、风险和商业因素，必须在部署之前进行评估。 图2：“传统”AI框架 机器或计算机视觉：使计算机能够解释，理解和分析图像和视频。例如，对象识别或质量控制。 自动语音识别(ASR)：处理、理解人类语音并将其转换为文本。例如，移动数 字助理。 自然语言处理(NLP)：使机器能够理解，解释和生成人类语言。 例如，文本分类或文本分析。 预测性AI或基于图形的模型：利用历史数据和机器学习算法来预测未来结果。例如，推荐系统。 （来源：ABIResearch） IMPACTFUL趋势 本节探讨支持设备上AI市场发展的主要趋势。 •神经处理单元(NPU)的可用性将补充图形处理单元(GPU)和中央处理器(CPU)：不同的处理器擅长不同的AI任务。CPU用于顺序控制，GPU用于并行数据流，NPU用于核心AI工作负载。将这些架构结合在片上系统（SoC）中，将实现更高效的AI工作负载处理，并提高应用程序性能，热效率和电池寿命，以实现新的和增强的生成AI体验。一个例子是高通的Sapdrago8Ge3，这是一个将公司旗舰产品KryoCPU，AdreoGPU和HexagoNPU相结合的异构计算平台。这种组合使平台能够支持从特定用例（如机器视觉（MV）或语音控制）到更复杂的模型（如LLM）的各种AI工作负载的推断，这些模型具有高达100亿个智能手机和130亿个个人计算机参数（PC）。 •芯片供应商、原始设备制造商(OEM)和独立软件供应商(ISV)对齐：合作伙伴将齐聚一堂，构建针对设备上AI硬件优化的“以生产力为中心”的应用程序，以满足消费者和企业的痛点。这将基于节省时间/金钱，为新设备创造ROI驱动的需求。 •开源市场获得更多投资：供应商希望支持创新速度，降低进入门槛，并进一步民主化获得市场领先的生成AI模型。尤其是在构建防弹开发工具时，开发人员可以轻松使用这些工具来开发创新的AI应用程序。 •对小于150亿参数的压缩和优化模型的有力支持：这些模型是通过参数修剪等优化技术开发的，可以减少功耗，减少推理时间并限制内存负担，同时展示类似于“巨型”模型的行为和准确性。这些适用于具有较低资源负担的设备上部署。谷歌、Meta、Mistral 、百川、微软在这些模式上投入了大量资金，旨在复制“巨人”模式的表现。 •芯片供应商构建软件开发工具包(SDK)：构建设备上生成AI生态系统需要降低开发人员的进入门槛。SDK支持底层硬件中应用程序的高效优化。高通公司的AIStac提供了一个神经处理引擎SDK，ISV(e.Procedre，Faceboo)已经利用部署新的应用程序。这得到了QalcommAIHb的支持，它为受支持的平台和特定用例提供了一个优化模型库。 •无/低代码平台将减少发展障碍，加速生产力AI生态系统：供应商正在投资于可视化软件开发环境，以提高可访问性，并使“任何人”都能构建应用程序。市场的下一步将利用自然语言来构建应用程序，例如OpenAI发布的GenerativePre-TrainedTransformers（GPT）。 为设备上的AI构建案例 AI模型主要在云中运行训练和推理工作负载，因为它提供可扩展的计算资源容量、高速网络以及高内存和存储储备。然而，由于许多商业和技术原因，集中式云部署将抑制用例可扩展性。ABIResearch认为，答案是通过能够处理更大模型的设备上AI来使推理更接近最终用户（例如。Procedre，生成AI的LLM)。 设备上AI部署将推理工作负载从云移动到设备。这为AI部署带来了改进的商业和技术案例。设备上的AI并不是一个全新的现象，因为用于音频处理或视觉增强的基本AI工作负载已经在本地运行;硬件（和软件）创新现在使在设备上运行大型生成，自动语音识别（ASR），自然语言处理（NLP）或图像生成工作负载成为可能。与“传统”以云为中心的模型相比，这为消费者和企业提供了强大的价值主张，如第 4.1节和第1节所述。 4.2.但是，提供能够运行大型模型的硬件将无法提供足够的商业价值，无法在基本停滞的市场（尤其是智能手机和PC）中创造增长。随后，ABIResearch认为，这必须辅之以有针对性的“生产力”应用程序，以节省时间或金钱，因为这将为购买具有设备上生成AI功能的新设备建立一个强大的ROI驱动案例。 消费市场 以云为中心的AI模型部署为AI工作负载提供了巨大的计算和电源资源，但随着AI在消费者应用程序中扩展，设备上的AI将变得越来越必要，以控制网络和服务器成本并减轻数据隐私挑战。图3解释了设备上AI的经验和技术价值主张。 图3：设备上的AI价值主张 （来源：ABIResearch） 经验 通过消除网络延迟来增强体验：提高应用程序性能并启用离线应用程序。通过确保更自然和高效的交互，这对于数字助理等实时交互式用例尤其重要。 在不损害数据隐私的情况下开发个人AI双胞胎设备传感器和内存可以利用个人数据在本地微调模型，使模型能够随着时间的推移而适应，并为用户提供个性化的见解。 从无缝的多设备体验中获益：AI工作负载可以跨设备和位置的生态系统移动，以自动优化最终用户的性能，功耗和体验 技术 数据隐私和个人AI模型：用户提示，个人数据，摄取的传感器数据都保留在设备上，从而消除了数据隐私挑战。 降低网络、云订阅和处理成本：随着AI模型的扩展，网络和计算成本将呈指数级增长。设备上消除了许多这些成本，减轻了网络负担，并减少了能源使用。 嵌入基于AI的安全性：AI模型可以以非常低的延迟提供增强的威胁检测和其他网络安全功能。例如，语音/面部识别和恶意软件检测。 数据隐私、成本优化和更逼真的人机通信将成为消费者设备上AI的关键价值驱动因素。许多AI用例将受益于本地处理，因为它带来了更低的延迟，这将提高消费者和企业的性能和可访问性。图4中探讨了一些受益更多的用例。 图4：设备上AI消费者使用案例示例 移动游戏：通过低延迟和离线AI改善用户体验 语言翻译：使经验更真实，更符合人的需求。 健康与健身：个人数据保持本地 ，模型适应摄取的用户数据以提高 洞察力。 数字助理：始终在线的AI，通过本地存储实现自然交互和数据隐私的低延迟。 （来源：ABIResearch） 但是，设备上的硬件必须补充“生产力”AI应用程序，这些应用程序超越了设备的经验，并建立了切实的ROI，因此需要进行设备升级。例如，自动完成消费者纳税申报单的生成AI应用程序可以节省资金，因为用户不再需要外部会计师和时间。这建立了强大的ROI，可以证明购买新设备是合理的。ABIResearch预计这对消费者和企业市场都很重要。 企业市场 人工智能已经在企业中部署，实现了数百个用例。但是随着企业寻求扩展模型，云部署将产生商业和技术障碍，例如网络成本、带宽拥塞和飙升的云托管成本。设备上的人工智能可以解决这些挑战。其价值主张如图5所示。 图5：设备上的AI企业价值主张 （来源：ABIResearch） 能够处理未来的AI工作负载 可以优化部署在设备上的AI加速器，以支持新 的生成AI模型和应用程序。 保护您的投资 快速变化的AI功能需要能够确保有效 性能的面向未来的硬件。 数据隐私 用于提示/微调的传入传感器数据和用户数据仍然是本 地的，限制了主权和IP泄漏风险。 可靠性 消除网络延迟波动风险并提高推理 可靠性，实现关键任务用例。 分布式劳动力 通过离线功能消除对工作人员的连接 需求，为所有人提供生产力用例 。 有效地扩展成本 网络成本将随着集中部署而迅速扩大，但本 地处理消除了这些成本。它还降低了与以云为中心的模型相关的提示 和输出费用。 Commercial技术 多设备体验 确保与跨设备本地同步和实施预测模型的一 致性，以了解用户模式。 个性化 利用传入的非结构化数据，经济高效地微调 本地模型，以优化最终用户的输出。 尽管设备上的AI具有跨垂直吸引力，但早期采用者将具有适用于设备上的AI部署的共同功能：高度分散的劳动力，对延迟敏感的用例，低连