端侧AI行业动态点评：产业链推进端侧AI应用，终端落地逐步启动

事项： 近期，高通、联发科等芯片厂商发布支持端侧AI大模型运行的芯片新品，高通推出骁龙8 Gen3和PC芯片骁龙X Elite；联发科推出天玑9300，支持130亿参数模型端侧运行。 软件厂商中，中科创达凭借其在终端、边缘计算领域的多年技术沉淀以及在大模型领域的创新探索，利用模型压缩、分布式以及张量并行技术，成功在搭载了高通8系列芯片平台的边缘设备上实现了LLaMA-2130亿参数模型的稳定运行。 终端方面，第九届联想创新科技大会期间，联想集团董事长兼CEO杨元庆在现场展示了联想首款AIPC、大模型压缩技术、人工智能双胞胎（AITwin）等一系列人工智能创新科技成果；AI手机侧，小米将AI大模型植入系统，其小爱输入助手支持AI创作文本，并支持AI扩图、AI妙画、AI搜图等功能；vivo发布了自研AI大模型「蓝心BlueLM」，其中10亿和70亿参数模型支持终端侧部署。可穿戴AI终端产品AIPin发布，本款产品为独立设备和软件平台，内置OpenAI直接在设备和云中运行。 国信通信观点：1）端侧AI在减轻云端网络负担、高可靠性和低时延场景以及隐私和安全方面具有应用必要性，有助于推动大模型的全面应用。端侧AI应用需要全产业链推动，包括芯片算力增强、模型优化、软件厂商适配以及终端厂商的落地应用。2）近期，从端侧AI芯片，到中游模组、软件厂商，再到下游终端，产业链各环节正积极推动AI在端侧部署落地，AI PC等相关产品在2024年有望开始迎来规模应用，AIPin的发布也反映了AGI用云到端应用的长期趋势，端侧AI应用逐步加速。 投资建议：端侧AI应用有望加速，建议关注算力模组与算力芯片等产业链环节，推荐关注【移远通信】、【广和通】、【瑞芯微】等。 评论： 端侧AI加速推进，应用前景广阔 边缘AI具有应用必要性，主要用于端侧推理。边缘AI由于端侧设备天然的算力局限性等因素，较难用于模型训练，主要用于端侧模型推理应用。具体来说，边缘AI有望在以下三类场景应用： （1）边缘智能有助于减轻网络负担。完全依赖云端处理多模态模型数据，对网络通信能力要求大幅提高，网络负担显著加剧，影响应用体验。并且完全依靠云端部署和应用AI成本相对高昂，将部分AI处理从云端卸载至端侧计算，尤其是利用已经部署的手机、PC等终端设备，成本上将大幅节约，也有助于降低云厂商的能源消耗。 （2）高可靠性与低时延优势。云端连接在访问拥挤时将产生高延迟，甚至会被拒绝服务，通过将计算负载迁移到边侧进行，可靠性和低时延优势将显现，在部分高安全性场景具有刚需，例如自动驾驶。 （3）隐私和安全。AI监管中，数据安全是重中之重。不同于访问云端的数据交互，端侧计算的数据具有更强的私密性和安全保障。 图1：NVIDIA为WindowsRTXPC和工作站提供AI优化 图2：生成式AI用于ADAS 从近期产业链动态来看，端侧AI应用正逐步加速。近期，从端侧AI芯片，到中游模组、软件厂商，再到下游终端，产业链各环节正积极推动AI在端侧部署落地，整体进展或将在2024年进一步加速，具体来看： 表1：近期端侧AI产业进展 芯片侧：高通、联发科强化端侧芯片AI性能 高通骁龙新品大幅加强AI性能。高通近期在2023骁龙峰会上推出骁龙8 Gen3和PC芯片骁龙X Elite。 两款芯片均具备强劲的端侧AI能力： （1）骁龙8Gen3：据高通介绍，骁龙8Gen3AI性能提升了98%，通过高通AI引擎实现终端设备100亿参数的模型运行，并且针对70亿参数LLM每秒能够生成20个token。 （2）骁龙X Elite：高通推出公司面向PC的处理器骁龙X Elite，其AI算力可达75 TOPS，其中，NPU支持45TOPS算力，支持在终端侧运行超过130亿参数的生成式AI模型，针对70亿参数LLM每秒能够生成30个token。 图3：高通骁龙8Gen3 图4：高通骁龙XElite 联发科发布天玑9300，集成第七代AI处理器，内置生成式AI引擎。天玑9300集成联发科技第七代AI处理器APU790。APU790内置生成式AI引擎，与Transformer模型适配进行算子加速，处理速度是天玑9200的8倍，可以实现1秒内生成图片。天玑9300支持在终端运行10亿、70亿、130亿参数的AI大模型。据联发科技官方称，天玑9300成功运行了330亿参数的AI大模型。APU790还支持生成式AI模型端侧“技能扩充”技术NeuroPilotFusion，可以基于基础大模型持续在端侧进行低秩自适应（LoRA，Low-Rank Adaptation）融合，扩展基础大模型的能力。 图5：联发科天玑9300AI处理器部分性能参数 图6：天玑9300支持LoRA等技术 Intel近期也宣布启动AIPC加速计划。Intel计划于12月24日发布酷睿Ultra处理器，率先推动其AIPC加速计划，预计将在2025年前为超过1亿台PC带来人工智能（AI）特性。从硬件角度，Intel将构建CPU、图形处理单元（GPU）和神经网络处理单元（NPU）组成的AI加速架构，凭借Intel首款集成NPU，该款芯片将支持AI本地加速和推理。 图7：IntelAI PC加速计划 图8：Intel酷睿Ultra处理器，集成CPU、GPU与NPU 中游模组与软件厂商：模组企业算力模组迭代，软件侧适配大模型边缘落地 模组厂商方面，算力模组迭代，已有端侧大模型运行案例。2023年7月，美格智能基于高通QCS8550芯片的算力模组SNM970实现StableDiffusion的实机运行；移远通信也推出基于高通QCS8550芯片的新一代高算力智能模组SG885G-WF。 图9：美格智能SNM970运行StableDiffusion 图10：移远通信推出算力模组SG885G-WF 大模型端侧部署，软件侧优化至关重要。通过模型压缩技术，例如量化、剪枝、知识蒸馏等将一个大模型转化为一个精简的小模型，以及其他软件端的优化算法，是大模型在端侧能够实现运行的必要基础。例如高通年初在MWC巴塞罗那演示了Stabe Diffusion在手机上实现AI绘图，其实现形式上，主要通过高通AI软件栈（QualcommAI Stack）执行全栈AI优化，并使用高通AI模型增效工具包(AIMET)对模型进行量化，得以在8 Gen2平台上实现大模型部署。 软件厂商方面，中科创达优化端侧大模型运行能力。近日，中科创达凭借其在终端、边缘计算领域的多年技术沉淀以及在大模型领域的创新探索，利用模型压缩、分布式以及张量并行技术，成功在搭载了高通8系列芯片平台的边缘设备上实现了LLaMA-2130亿参数模型的稳定运行。 图11：中科创达实现端侧130亿参数模型运行 图12：高通对AI模型压缩等支持端侧应用 终端侧：AI PC与AI手机开始落地，AIPin彰显终端应用潜力 终端方面，AI PC和AI手机等终端产品近期开始落地： （1）AIPC方面，联想在近期推出首款AIPC。第九届联想创新科技大会期间，联想集团董事长兼CEO杨元庆在现场展示了联想首款AIPC、大模型压缩技术、人工智能双胞胎（AITwin）等一系列人工智能创新科技成果。其中，AIPC能够创建个性化的本地知识库，通过模型压缩技术运行个人大模型，实现AI自然交互。除了AI PC，联想集团还同步展示了面向未来的人工智能设备产品组合，包括AI智能手机、AI工作站、个人及企业级大模型等。杨元庆预计AI PC将于明年9月以后正式上市。 图13：联想展示AIPC内置AI功能 图14：联想发布AITwin，涵盖个人及企业级应用 AIPC趋势有望带动消费者PC市场加速复苏。AIPC趋势目前已经获得从芯片、代工及终端品牌厂商的一致认可。前文提到Intel推出AIPC加速计划、高通推出PC芯片，而AMD此前已经推出了Ryzen7040系列CPU，内置RyzenAI引擎；ODM和品牌方面，戴尔、惠普、华硕等品牌和仁宝、广达等ODM厂商都对AI PC寄予厚望，认为它将成为2024年及以后PC产业发展最重要的驱动力。 受益于此，AIPC有望加速PC市场复苏。据群智咨询预测，伴随AICPU和Windows 12的发布，明年将成为AIPC规模性出货元年，预计该年度全球AI PC整机出货量达到约1300万台，总体渗透率有望在2026年突破50%，成为主流机型。 图15：AMD7040系列内置XDNA架构AI引擎 图16：联想发布AITwin，涵盖个人及企业级应用 （2）除PC外，手机厂商开始推出具备本地大模型处理能力的手机产品，例如小米14。在小米澎湃OS暨Xiaomi14系列新品发布会上，小米MIUI负责人金凡介绍了全新的小米澎湃OS。据称，小米将AI大模型植入系统，其小爱输入助手支持AI创作文本，并支持AI扩图、AI妙画、AI搜图等功能，相关应用基于本地运行。同时，金山办公官微还宣布，在此次的新品研发中，小米与WPS达成深度合作，小米14系列手机用户可通过小米社区下载搭载WPSAI功能的专属版WPS。 图17：小米小爱助手文本生成功能 图18：小米AI扩图 除小米外，vivo于近期发布国内第二款端侧大模型AI操作系统，并实现端侧百亿参数模型运行。11月1日，vivo在2023开发者大会上正式发布了自研AI大模型「蓝心BlueLM」和全平台自研操作系统「蓝河BlueOS」。蓝心大模型BlueLM覆盖了十亿、百亿、千亿三个参数量级，全面覆盖了目前应用的核心场景，其中，10亿量级模型是主要面向端侧场景打造的专业文本大模型，在手机上进行推理的速度可达64字/秒，具备本地化的文本总结、摘要等能力。70亿模型是面向手机打造的端云两用模型，具有优秀的语言理解、文本创作能力。同时，上述两个量级的模型支持高通和联发科（MTK）最新旗舰平台（即骁龙8Gen3和天玑9300）的端侧化部署。 图19：vivo自研蓝心大模型BlueLM 图20：vivo智能助理蓝心小V获AI大模型加持 AIPin发布，彰显AI走入终端应用前景。美东时间11月9日，苹果前设计和工程团队高管创立的Humane公司发布AI Pin可穿戴便携硬件。本款产品为独立设备和软件平台，内置Open AI直接在设备和云中运行。Ai Pin没有真实显示屏，相反，它有一个绿色激光投影仪可以将信息（比如时间、键盘、转弯指示、路线、温度等）投影到手掌以及其他物体表面，比如手套、桌子、门、墙面等，其交互方式为通过语音、触摸或者手势等形式。 AIPin是AGI在现实世界应用的一种方式，作为一种类“个人助理”的终端设备，为用户提供更加个性化服务，比如导航、文稿撰写、整理电子邮件、翻译、识别食物、提供营养参考等，且其具有长期记忆能力，能在与用户聊天和旅程过程中不断学习。 售价方面，「Ai Pin」售价为699美元，另外，用户每月需要支付24美元的订阅费用，包括通信服务、手机数据、照片和视频云存储，以及AI模型服务等。 图21：AI Pin通过语音、触摸或者手势进行交互 图22：AIPin具有记忆能力，例如根据记忆导航 硬件维度，AIPin端侧提供模型加速能力。公司产品由高通Snapdragon处理器提供支持，配备了摄像头、3D摄像头和深度传感器等部件，用于识别手势，记录和跟踪用户周围的现实世界，提供（比手机）更加个性化体验。其硬件侧支持AI加速能力，以提供更好的端侧AI应用体验。 图23：AIPin处理器具有端侧AI加速能力 投资建议： 1）端侧AI在减轻云端网络负担、高可靠性和低时延场景以及隐私和安全方面具有应用必要性，有助于推动大模型的全面应用。端侧AI应用需要全产业链推动，包括芯片算力增强、模型优化、软件厂商适配以及终端厂商的落地应用。2）近期，从端侧AI芯片，到中游模组、软件厂商，再到下游终端，产业链各环节正积极推动AI在端侧部署落地，AIPC等相关产品在2024年有望开始迎来规模应用，推动端侧AI应用加速。