计算机周报：边缘AI、具身智能与机器人本质三位一体

市场回顾 本周（5.29-6.2）沪深300指数上涨0.28%，中小板指上涨0.95%，创业板指数上涨0.18%，计算机（中信）板块上涨7.19%。板块个股涨幅前五名分别为：新智认知、新国都、初灵信息、优刻得-W、中科创达；跌幅前五名分别为东方通、ST中安、立思辰、迪威迅、电科网安。 行业要闻 工信部：1~4月份我国软件业务收入33166亿元，同比增长12.8%。 工信部：脑机接口作为培育未来产业发展的重要方向。 工信部：持续完善动力电池回收利用体系。 公司动态 中科曙光：6月1日消息，公司发布2022年年度权益分派实施公告，拟向全体股东每股派发现金红利0.22元（含税），拟派发现金红利总额为322,083,074.28元。 广电运通：6月1日消息，公司发布2022年年度权益分派实施公告，拟向全体股东每10股派发现金红利2.00元（含税），拟派发现金红利总额为496,676,579.60元，不送股，不进行资本公积转增股本。 卓易信息：6月1日消息，公司拟以人民币26,506.35万元的对价收购标的公司艾普阳科技合计52%的股权。 本周观点 AI从云到边的大趋势确立，我们前期判断得到持续验证：边缘AI是产业趋势，具身智能是内在逻辑（AI自我提升需要人与环境的交互数据集中在终端），机器人是终极应用。我们于2023年5月13日发布报告《中科创达：大模型从云到边，终端交互革命孕育历史机遇》中明确提出谷歌大力进军终端大模型市场，终端AI成为下一个兵家必争之地；随后在5月14日发布《谷歌的“帝国反击战”：AI从云到边的拐点》详细阐述谷歌的从云到边的AI蓝图，明确提出AI边缘部署已经走进现实；通过发布IOS版ChatGPT、Windows+AI等AI体验报告，我们于5月21日发布《ChatGPT APP标志AI行情新阶段》，明确提出大模型作为AI时代的终极操作系统，ChatGPT超级APP只是第一步，生成式AI由云向端的迈进仍在加速。本周，英伟达、高通、中科创达等公司都发布相关产品加快边缘AI落地速度，下周华为、苹果发布会预计终端AI均是核心看点，AI从云到边的大趋势已经无比明确，建议关注中科创达、科大讯飞、萤石网络等龙头企业。 风险提示 政策落地不及预期；行业竞争加剧。 1本周观点 AI从云到边的大趋势确立，我们前期判断得到持续验证：边缘AI是产业趋势，具身智能是内在逻辑（AI自我提升需要人与环境的交互数据集中在终端），机器人是终极应用。我们于2023年5月13日发布报告《中科创达：大模型从云到边，终端交互革命孕育历史机遇》中明确提出谷歌大力进军终端大模型市场，终端AI成为下一个兵家必争之地；随后在5月14日发布《谷歌的“帝国反击战”：AI从云到边的拐点》详细阐述谷歌的从云到边的AI蓝图，明确提出AI边缘部署已经走进现实；通过发布IOS版ChatGPT、Windows+AI等AI体验报告，我们于5月21日发布《ChatGPT APP标志AI行情新阶段》，明确提出大模型作为AI时代的终极操作系统，ChatGPT超级APP只是第一步，生成式AI由云向端的迈进仍在加速。本周，英伟达、高通、中科创达等公司都发布相关产品加快边缘AI落地速度，下周华为、苹果发布会预计终端AI均是核心看点，AI从云到边的大趋势已经无比明确，建议关注中科创达、科大讯飞、萤石网络等龙头企业。 1.1英伟达：以Omniverse为核心的的具身智能路径 英伟达选择具身智能路径，特点是从边缘向云端开发，主要产品为VIMA机械臂和Isaac AMR移动机器人平台。英伟达在ITF2023发布基于VIMA大模型的机器臂，据英伟达介绍，VIMA能够理解、推理物理世界并与物理世界互动，例如根据视觉、文本提示移动、排列物体，VIMA还可以运行在Omniverse模拟物理学并做出符合物理定律的预测。Isaac AMR是一个用于模拟、验证、部署、优化和管理自主移动机器人车队的平台，包含了边缘到云的软件服务、计算以及一套参考传感器和机器人硬件，通过连接DeepMap的云服务，加速大型环境的测绘和语义理解，在无需资深技术团队的情况下，将机器人对大型设施的测绘时间从数周缩短到数天，并实现厘米级精度。它可以生成丰富的3D体素地图，并用它们为多种类型的AMR创建占用地图和语义地图。 图1：英伟达VIMA大模型拥有具身智能 图2：NVIDIA Isaac AMR机器人 具身智能是指大模型模仿人脑工作方式来训练算法，并进行自我理解、自我优化最终实现像人类一样的学习、成长。英伟达VIMA支持文本、视觉、语音等多模态作为机器人的任务输入，通过包含仿真基准测试、60多万个专家轨迹、多种级别评估协议等系统化的泛化测试作为目标输出集合；使用预先训练的T5模型对多模态提示进行编码，并通过交叉注意力层在提示上对机器人控制器进行调节，预测以提示和交互历史为条件的电机命令作为预测输出集合；通过模型预测输出和目标输出进行比较和自我优化驱动VIMA自主学习，在最难的零样本泛化训练任务中，VIMA的任务成功率比之前的最优方法提高了最多2.9倍，而使用10倍较少训练数据，VIMA的性能仍然比顶级竞争方法提高了2.7倍。 图3：VIMA原理图 具身智能最核心的竞争力是真实世界数据集，英伟达Omniverse是行业高标。 具身智能训练需要特殊的数据集，以VIMA机械臂为例，需要以下数据： 1）多模态任务集：17个元任务，每个元任务还可以拆分成1000个单独任务，包括语义理解、视觉分割等各类多模态任务 2）成功案例：英伟达准备了650K个成功轨迹 3）奖励基准：建立VIMA-Bench使用概率论的方法合理评估任务AI预测结果，并给予AI正确反馈 英伟达Omnivers是全球领先的数字孪生平台，包含Nucleus、Connect、Kit、Simulation和RTX渲染器五个重要组成部分，这些部分以及可互操作的第三方数字内容创作(DCC)工具和渲染器，加上由第三方和NVIDIA构建的扩展程序、应用和微服务组成了完整的Omniverse生态系统。通过USD等真实世界数据集，可以做到数字孪生精准符合物理定律、物体运动反应精准且与显示同步等特性，这些真实世界数据是英伟达具身智能能够落地的重要基础。 图4：英伟达USD真实世界数据库正在不断扩充 英伟达边缘AI自下而上突破的具身智能路径已经打通，结合云计算可以在边缘AI从开发到部署的各个环节提供丰富技术支持。NVIDIA选择微软Azure作为Omniverse Cloud的首家云服务商。微软Azure将能支持企业在享有Azure云服务的规模分析特性与安全性的同时，访问全套Omniverse软件应用及NVIDIA OVX™计算系统，为客户提供了一套可用于设计、开发、部署和管理工业元宇宙应用的全栈式云环境和平台功能，连接并使用NVIDIA合作伙伴生态系统的相关产品，如英伟达认证工作站、边缘计算模块等。 图5：英伟达主要边缘AI相关产品 NVIDIA Isaac是专为机器人开发和AI打造的加速平台，AMR移动机器人平台率先落地。英伟达Isaac平台从预训练模型开始，通过Isaac Replicator中生成的合成数据进行增强，并使用NVIDIA TAO进行训练，从而实现目标性能； 利用本地和云端提供的NVIDIA Isaac Sim创建物理精准的逼真环境，以开发和测试与机器人运行相关的各个方面；利用Nova Ori节省时间，并使用硬件加速SDK将AI带入到基于NVIDIA Jetson的机器人，例如用于基于ROS的机器人的Isaac ROS GEM、用于视频流解析的NVIDIA DeepStream SDK、用于自然语言处理的NVIDIA Riva；通过EGX Fleet Command和Isaac for AMR（包括Metropolis、CuOpt和DeepMap）管理机器人编队以优化生产力。IsaacAMR是用于模拟、验证、部署、优化和管理自主移动机器人车队的平台，包含了边缘到云的数字孪生训练、软件服务、计算以及一套参考传感器和机器人硬件，可加快AMR的开发和部署速度，减少成本和缩短产品上市时间。 图6：NVIDIA Isaac AMR技术架构 Isaac AMR建立在NVIDIA Nova Orin参考架构的基础。Nova Orin包括立体相机、鱼眼相机、2D和3D激光雷达在内的多个传感器与系统模块集成在一起，支持先进的AI和硬件加速算法，提供275TOPS的实时边缘计算性能。 同步和校准的传感器套件为实时三维感知和绘图提供了传感器的多样性和冗余性。 用于记录、上传和重放的云原生工具使调试、地图创建、训练和分析变得容易。 图7：NVIDIA Isaac AMR硬件配置 1.2高通：云边一体的混合AI路径 高通提出云边一体的混合AI路径，深度开发边缘AI，云端AI选择与微软等公司合作。据高通混合AI白皮书，在混合AI场景中，边缘大模型是云端大模型的感知器官，例如用户对手机说话，自动语音识别（ASR）AI模型如Whisper在设备上转换语音为文本，发送到云端，云端运行大模型，回发文本答案。在进阶版本中，设备AI更进一步保护隐私，承担更多处理，提供更个性化的提示给云：通过设备学习和个人数据，设备创建用户个人形象，与调度程序协作，基于上下文提供更好的提示；例如，用户要求手机预约和朋友在最爱餐厅吃饭，对简单查询，较小的大模型可在设备上运行无需云交互，如果用户需要复杂信息，则本地将需求转化为提示发给云端大模型并返回详细答案。 图8：高通混合AI原理示意图 据高通混合AI白皮书，混合AI主要有以下优点： 1）经济性：降低云端推理成本、高效利用边缘算力、降低AI应用开发门槛； 2）能耗低：边缘设备可以以较低能耗运行大模型，若考虑处理和数据传输等因素，能耗节约更加显著； 3）可靠性：边缘AI不受网络状况影响，运行更加稳定； 4）隐私性：数据完全在本地推理，大幅降低泄密风险； 5）个性化：边缘设备可以搜集用户真实生活中的行为、价值观、痛点、需求、关注问题等信息形成定制化服务。 图9：高通混合AI优势 软件端：高通AI开发栈已经发布。高通AI开发栈支持主流AI框架，如TensorFlow、PyTorch、ONNX和Keras，以及TensorFlow Lite、TensorFlow Lite Micro、ONNX runtime等运行时。此外，它还包括推理软件开发工具包（SDK），如备受欢迎的Qualcomm ® 神经处理SDK（适用于Android、Linux和Windows）。 开发人员库和服务支持最新的编程语言、虚拟平台和编译器。在较低的层次上，高通AI开发栈系统软件包括基本的实时操作系统（RTOS）、系统接口和驱动程序。高通AI开发栈在不同的产品线上提供丰富多样的操作系统支持，包括Android、Windows、Linux和QNX，以及Prometheus、Kubernetes和Docker等部署和监控基础设施高通AI开发栈还包括AI Studio，支持从设计到优化、部署和分析的完整大模型工作流，将所有工具整合到一个图形用户界面中，并提供可视化工具，简化开发人员的体验，使他们能够实时查看模型开发情况，包括AI模型效率工具包（AIMET）、AIMET模型仓库、模型分析器和神经架构搜索（NAS）。 图10：高通AI开发栈 硬件端：高通Hexagon Processor核心。高通HexagonProcessor采用全新的架构以及专用的供电系统，在AI推理方面增加了特殊的硬件来改善组卷积、激活函数加速，并将张量加速器的性能提升一倍，采用独特的方法将复杂的AI模型分解为微块（Micro Tile）以加速推理过程，标量、向量和张量加速器可以同时工作，无需每次都涉及内存，从而节省功耗和时间。此外还通过物理桥梁实现了与Hexagon的无缝多IP通信。这种连接可以驱动高带宽和低延迟的用例，例如认知ISP或在游戏