2023扩展现实设备芯片需求白皮书

WhitePaperonextendedreality DeviceChipRequirements （2023年） 扩展现实设备芯片需求白皮书 中国通信标准化协会 扩展现实（XR）产业及标准推进委员会 2023年5月 版权声明 本白皮书版权属于扩展现实（XR）产业及标准推进委员会和中国通信标准化协会，并受法律保护。转载、摘编或利用其他方式使用本白皮书文字或者观点的，应注明“来源：扩展现实（XR）产业及标准推进委员会和中国通信标准化协会”，违者追究法律责任。 中国通信标准化协会扩展现实（XR）产业及标准推进委员会 参编单位 安谋科技（中国）有限公司杭州灵伴科技有限公司(Rokid)紫光展锐(上海)科技有限公司OPPO广东移动通信有限公司创通联达智能技术有限公司瑞芯微电子股份有限公司 维沃移动通信有限公司中国移动通信集团终端有限公司博鼎实华（北京）技术有限公司上海市多媒体行业协会 感谢以下机构对本白皮书的编写提出宝贵建议 翱捷科技股份有限公司歌尔股份有限公司 优奈柯恩(北京)科技有限公司雷鸟创新技术（深圳）有限公司深圳创维新世界科技有限公司晨讯科技(上海)有限公司 玩出梦想（上海）信息科技有限公司等 毛卫洋伍赛陈锴陈翊翔任远刘畅李丛蓉钟宝星马超王真康峰杨冬笋来航曼吴传龙符谋政林怀亮董丙银刘峰倪茂彭程郑海霞端木海婴李技周晓萌朱勇旭黄德胜彭华成 前言I 第一章扩展现实产业概述1 第二章现有热门扩展现实设备方案概览8 2.1VR一体机概览8 2.1.1VR一体机热门设备参数8 2.1.2VR一体机国内设备介绍9 2.2主机式VR概览11 2.2.1主机式VR热门设备参数12 2.2.2主机式VR国内设备介绍12 2.3AR一体机概览13 2.3.1AR一体机热门设备参数14 2.3.2AR一体机国内设备介绍15 2.4AR分体机概览16 2.4.1AR分体机热门设备参数17 2.4.2AR分体机国内产品介绍18 第三章扩展现实设备底层技术需求21 3.1XR基本组件21 3.2主要参数指标要求24 3.2.1延迟25 3.2.2视场角26 3.2.3角分辨率27 3.2.4续航及重量29 3.3核心算法技术30 3.3.1DoF技术30 3.3.2ATW/ASW技术31 3.3.3眼动追踪33 3.3.4注视点渲染34 3.3.5透视技术35 3.3.6手势追踪技术37 3.3.7手柄追踪技术39 第四章扩展现实设备底层芯片需求41 4.1核心计算芯片能力41 4.1.1计算能力43 4.1.2无线通信能力48 4.1.3芯片接口48 4.2手部配件核心计算芯片49 4.3其他周边芯片49 4.4芯片其他需求和芯片制造50 4.4.1交互感知50 4.4.2芯片功耗50 4.4.3芯片安全50 4.4.4芯片制程51 4.4.5芯片封装51 第五章面向扩展现实的IP和芯片平台52 5.1现有IP如何满足XR芯片需求52 5.1.1CPU52 5.1.2GPU54 5.1.3NPU54 5.1.4VPU55 5.1.5DPU56 5.1.6ISP57 5.1.7SPU57 5.2芯片原型平台59 5.2.1一体式XR芯片原型平台59 5.2.2分体式XR芯片原型平台64 5.3现有扩展现实设备主控芯片65 5.3.1QualcommXR/AR平台65 5.3.2UnisocXR平台66 5.3.3RockchipXR平台66 第六章扩展现实操作系统68 6.1扩展现实操作系统简介68 6.2扩展现实核心模块72 6.2.16DoF头部追踪72 6.2.23/6DoF手柄73 6.2.3VideoSee-through73 6.2.4ATW75 6.2.5畸变矫正和色差矫正76 6.2.6无线渲染77 6.3OpenXR和GSXR79 6.3.1OpenXR支持79 6.3.2GSXR支持81 第七章未来扩展现实技术展望83 7.1无线传输技术83 7.1.1Wi-Fi技术84 7.1.25G/6G技术84 7.2多媒体音视频技术85 7.3智能交互技术86 7.3.1手势追踪技术86 7.3.2眼动追踪技术88 7.3.3触觉反馈技术88 7.4环境理解技术89 7.5生物电感知交互技术91 第八章结束语93 前言 扩展现实（XR）产业及标准推进委员会（TC625） 计算机自从诞生以来，不断向着小型化、智能化、个人化方向发展，计算硬件经历了从大型机到小型机、从个人电脑到智能手机的转变，人机交互方式也从早期的打孔纸带发展到键盘、鼠标、触摸屏。人与计算机之间距离越来越近，使用计算机的时间也越来越长，计算机越来越成为人们日常工作和生活中离不开的工具。 以5G通信技术和AI人工智能技术为引导的新一轮技术革命正在432高算力的需求催生出新一代硬件设备平台，以实现真实世界和虚拟世界的进一步融合。扩展现实作为新一轮科技革命的代表技术之一，已被认为是下一代通用性技术平台和互联网的入口，极有潜力改变人与计算机交互的方式，让计算机更好地融入人们的日常工作和生活。 当前扩展现实设备的底层芯片很多是复用智能手机芯片平台的计算能力，扩展现实设备本身的需求与智能手机设备有相通之处，但也有其独特的特点。本白皮书系统介绍了扩展现实设备厂商的需求、技术难点和对底层芯片的需求，详细介绍了扩展现实芯片（以移动芯片平台为主）现状以及未来可能的芯片形态和技术突破点，为从业人员提供一份全面的技术参考，期望能为中国扩展现实芯片产业的未来发展助力。 第一章扩展现实产业概述 2022年10月28日，工业和信息化部、教育部、文化和旅游部、国家广播电视总局、国家体育总局印发的《虚拟现实与行业应用融合发展行动计划（2022-2026年）》指出：“虚拟现实（含增强现实、混合现实）是新一代信息技术的重要前沿方向，是数字经济的重大前瞻领域，将深刻改变人类的生产生活方式，产业发展战略窗口期已形成。” 一般来说，广义的虚拟现实包括了虚拟现实（VirtualReality，VR）、增强现实（AugmentedReality，AR）、混合现实（MixedReality，MR）等技术及其产业应用，通常用扩展现实技术（eXtendedReality，XR）来指代。 市场规模 根据全球知名数据机构IDC数据，XR全球消费支出在2022年已增长至138亿美元，并将在2026年增长至509亿美元，即在未来四年XR市场规模将增长3.68倍，年度复合增长率高达32.3%：其中大部分消费市场的增长出现在美国和中国，中国地区占比约为1/4；消费级和企业级支出的比例大致持平，而VR相关支出预计将占总支出的70%。IDC认为，XR市场是“一个准备蓬勃发展的成熟市场”。 此外，根据AnalysisGroup的分析，2021年兴起后如火如荼的元宇宙产业，如果从2022年被采用，并以与移动技术类似的方式发 展，那么预计10年后它对全球GDP的贡献将达到2.8%；到2031年，它将为全球GDP贡献3.01万亿美元，其中三分之一(1.04万亿美元)来自亚太地区。XR是元宇宙当前最成熟的入口，更是其中最为关键的技术之一，元宇宙也为XR产业的长足发展提供了强劲的原动力。由此可见，XR扩展现实产业的发展对未来全球经济发展至关重要。 行业应用特点 XR是一个快速发展的领域，与人工智能（AI）和物联网（IoT）被认为是三大未来将显著提高生产率和体验的科学技术。XR技术可广泛运用于教育、工业、医疗、能源、零售、文旅、展陈、政务、安防等18个大类100多个应用场景，XR产业链跨度大，前沿数字技术应用广泛，蕴含巨大发展潜力。 AR/VR/MR概念界定 XR指所有由计算机技术和可穿戴设备生成的虚实融合的环境和人机交互，包括AR、MR、VR等具有代表性的产品形态。 VR和AR是XR概念的主体，两者都可带来虚拟视觉体验，但技术实现路径存在较大的差异： VR是利用计算机技术生成模拟环境，强调用户与虚拟世界的实时交互，带来封闭式、沉浸式的虚拟世界体验。VR主要融合了多模 态感知，包括但不限于：视觉、听觉、触觉、味觉等。当用户处在预定义的区域中时，可以体验到类似真实世界的感官刺激。 AR则是借助计算机图形技术产生物理世界中不存在的虚拟对象，并通过光学透视原理将虚拟对象叠加在物理世界中，带来感知效果更丰富的视觉体验。AR可以将额外的数字视觉信息或者内容叠加到现实环境中，增强虚拟与现实世界的融合与交互。AR具有三个明显特点：数字世界和真实世界相结合、实时自然交互、虚拟对象准确地对应它在现实世界中的实际位置。 MR融合了AR和VR全部要素，将一些虚拟的对象元素添加到真实物理世界中，以便数字对象可以与现实环境交互，从而让用户感觉到这些虚拟元素是真实场景一部分，达到虚实融合的交互体验。当前， 部分主流VR设备已可支持MR功能，XR的产品路径和形态正逐步融 合迭代。 VR头显设备形态 VR头显主要可以分成以下三种类型：手机式VR（screenlessviewer），主机式VR（TetheredHMD）以及VR一体机（All-in-One）： 1.手机式VR：手机式VR使用手机的显示屏来进行VR内容的显示，通过USB接口连接手机，代表产品有谷歌的Cardboard以及三星的GearVR系列。它利用手机处理能力将VR内容进行分屏显示，从而产生立体效果；通过采集IMU（InertialMeasurementUnit） 传感器数据，结合九轴融合算法，计算和预测手机佩戴在头部的实时姿态信息。在移动头部时，眼前显示的内容产生相应变化，可以初步体验到在虚拟现实的情景下观看YouTube、谷歌街景等。然而，受限于手机性能和软件能力，手机式VR产品满足不了用户体验的需求，随着技术发展，逐渐被市场淘汰。当然，GoogleCardboard和三星GearVR对国内市场产生了重大的影响，当年暴风魔镜以及华强北众多的手机式VR就是其衍生的现象级产品。 2.主机式VR：主要通过有线的方式连接PC或者游戏主机等。与手机式VR不同，主机式VR有独立的光学器件、显示屏以及传感器，从而可以实现3DoF或6DoF定位。由于VR中对算力要求较高的实时定位和渲染模块在PC或者游戏主机中完成，主机式VR头显对内置的处理器性能要求低，无需集成电池，因此在重量、散热、佩戴等方面非常有优势。但是，有线连接在一定程度上牺牲了设备的移动性，这对用户的沉浸感体验有很大的影响。主机式VR头显代表产品有HTCVive系列、SonyPSVR系列等。 3.VR一体机。通常认为，VR一体机是VR头戴式设备的终极形态。VR一体机内置定制的处理器芯片、显示屏、传感器和电池，头部跟踪和渲染计算都在自身处理器上运行。此外，它还可以通过无线串流连接到PC，从而利用PC上更丰富的内容及游戏资源。最初的VR一体机，比如OculusGo，使用了3DoF的定位方式，随着处理器性能的提升，6DoF逐渐成为VR一体机的标配。另外，近年来随着VR中前置高清摄像头的加入，Videosee-through（彩色透视） 功能使得VR向着MR的方向前进，代表产品包括MetaQuestPro,Pico4Pro等。 VR头显出货预测 40 35 30 25 20 15 10 5 0 2021 2022 2023 2024 2025 单位：百万台 根据StrategyAnalytics,Counterpoint以及CCSInsights的预测：到2025年，主机式VR的年出货量达1209万台，VR一体机可达3530万台，年复合增长率分别为25.5%以及27.7%。 图1.1VR出货量预测(来源：Arm根据市场信息综合整理)AR头显设备形态 AR头显与VR头显有很多相似之处，但是其在便携性、功耗等方面的要求比VR更加苛刻。在VR中，用户看到的场景和人物全是虚拟的；在AR中，用户看到的场景和人物一部分是真实的，一部分是虚拟的，需要把虚拟的信息带入到现实世界中，这种显示方式对计算机视觉处理