2023年ARMR技术深度产业报告

深度产业报告 Technology AugmentedRAeaRlit/y/MMixRed技Rea术lityQibitaiIndustryInsightReport dingqiao分@析qb师ita：i.c丁o乔m 1 1.1AR/MR背景03 1.2定义及概念区分03 1.3AR/MR产业关键技术03 1.4AR行业技术积累和发展挑战07 价值篇 2.1价值描述10 2.2应用价值11 产业篇 3.1行业现状及未来产业发展阶段分析16 3.2行业发展阶段及市场规模23 3.3产业链分析25 3.4AR/MR玩家分析30 3.5关键竞争要素35 增强现实技术由来已久，早在上世纪60年代，计算机图形学之父萨瑟兰（IvanSutherland）就开发制作了史上第一台AR设备，这套设备虽然因为过于笨重只能悬挂在天花板上，但是其技术原理和现在的AR设备没有本质差别。随着软件和硬件技术的快速发展，越来越新、越来越好的AR技术在拓展人们的视野，甚至给予了人类观察世界的全新视角。 2021年FaceBooK将公司名改为META，并表示将品牌重新定义为一个功能更加多元的互联网社交媒体形式，并提出打造元宇宙的概念。而VR、AR、MR等技术就是元宇宙世界的入口。 VR技术由于其完全虚拟、高沉浸感，而承担了更多虚拟社交、影音、游戏等C端娱乐功能，而AR与MR由于对现实进行增强、且具备实时混合虚拟信息的概念而成为了以使用者为中心的随身助手，也因此被认为是继PC、智能手机之后的下一代计算终端和互联网入口。 1.2定义及概念区分 增强现实AR（AugmentedReality)、混合现实MR(MixedReality)与虚拟现实VR（VirtualReality）是三种为用户提供虚拟体验服务的技术。 •VR虚拟现实 利用数字技术模拟创建一个虚拟的三维世界，为用户提供视觉、听觉等感官模拟，同时让用户可即时、无限制地观察三维空间内的事物，感觉仿佛身临其境。 •MR混合现实 混合现实MR是指将虚拟信息引入现实世界中并能够和现实环境及用户进行实时交互。 MR技术需要将现实物体赋予数字属性，使其可以与计算机生成的虚拟对象互动，同时将虚拟物体赋予一定的现实属性，使其更加拟真。例如在MR体系中，虚拟生成的皮球能够掉落在在真实世界的地板上，而产生形变、回弹等一系列交互效果。虚拟对象不再仅仅是以提供辅助性信息的形式服务于真实对象，而是可以以主体的形式存在。虚拟对象和真实对象可以互相遮挡，甚至难以区分到底哪个是真实物体。 •AR增强现实 狭义的AR是指用户以直接或间接的形式，观察真实场景，在现实场景的基础上叠加图像，声音，视频或其他类型的数字信息，以丰富人们对现实世界的观察效果，实现超越现实的感官体验。 广义的AR概念则包含MR，在将虚拟数字世界与物理现实的连续光谱中，除去真实世界和虚拟现实的任何一种虚拟和现实的混合模式都称之为AR，它涵盖了增强现实(augmentedreality)与增强虚拟(augmentedvirtuality)，包含了虚拟到现实任意一种混合模式。本文中对AR采取广泛定义，即包含MR技术在内。 1.3AR/MR产业关键技术 AR系统通过收集真实场景、人机交互获得用户数据，继而通过图像渲染和展示来完成对现实环境的增强效果。简单AR效果是在现实场景中叠加虚拟信息，例如谷歌眼镜能够显示天气、时间等内容； 复杂的AR效果需要对现实世界进行识别、模型构建，并在此基础上叠加预先设定的效果或者智能化增强，所以需要收集真实场景进行图像匹配、地图构建。 读取环境 用户交互 更新数据 三维注册 显示 设备通过摄像头 和传感器对真实 通过摄像头、陀螺 实时更新使用者在 场景进行数据采 仪、传感器等设备 现实环境中的空间 将虚拟信息融入到真实场景 中，需要考虑虚拟景物在真 通过合适的光 学结构，将合 集，传入处理器 获得使用者的位姿 进行分析和重构 数据，根据使用者 位置变化数据，获 的当前视角重新建 得虚拟坐标与现实 实环境中的合理性，例如光 照环境、相互遮挡关系、作 成影像呈现在 立空间坐标系 坐标之间的映射关 镜片上 系 用力与反作用力等，以此保 证虚拟和现实的和谐融合； 当前AR技术的发展重点在于三维注册等空间感知技术的迭代升级，以提高其稳定性，降低算力要求。在硬件方面，AR技术主要在近眼显示模块的研发升级上，其中包括微显示器的研发、量产，以及光学组合器的研发生产。 1.3.1三维注册技术 AR技术为了实现虚拟和现实物体的融合，必须将虚拟物体合并到现实世界中的准确位置。获取真实环境信息并将虚拟场景准确渲染到真实场景中的步骤称为三维跟踪注册，这一步是为了实现虚拟场景和真实场景的无缝叠加，也是能够实现AR效果的基础。 因此AR系统必须实时检测使用者的位置，头部角度，运动方向等，并根据使用者的视场重新建立坐标系，进而确定显示何种虚拟物体。 按照跟踪注册模式可以将AR系统分为以下几类： 基于计算机视觉的AR技术，其中包括基于标记物的AR技术、基于硬件设备的AR技术、以及使用多种方式的混合AR技术。 其中应用最为广泛的为基于SLAM的三维注册技术，它还用于无人机、飞行器、无人驾驶和机器人清洁器等产品。SLAM技术近几年逐步成熟，并被用于AR产品的追踪定位。SLAM跟踪注册技术不需要场景的先验知识，能够在未知场景当中进行跟踪的同时重建其三维结构。此外，基于定位或传感器的三维注册技术在户外等场景中也有一定应用范围。 •基于SLAM技术的三维注册技术 SLAM技术(Simultaneouslocalizationandmapping，同步定位与建图)使用激光雷达或者单目/双目摄像头进行真实环境的监测和虚拟地图的创建，在AR领域，主要运用摄像头通过视觉技术来完成3维跟踪和注册。 目前三种主要的基于视觉的SLAM方法如下： 类别 用途 纯视觉SLAM 纯视觉SLAM系统通常使用单目相机。基于单眼的系统在系统初始化方面更加复杂，至少需要两个不同的视图来确定初始深度；除此之外还会引发坐标漂移和尺度估计失败等问题 视觉惯性SLAM 结合惯性测量估计结构和传感器姿态。惯性数据由IMU提供，该单元由陀螺仪，加速度计和磁力计设备组成。IMU能提供与沿x，y，z轴的角速率和加速度相关的信息，以及设备周围的磁场情况信息。添加IMU可以使信息更加丰富，提高更高的精准度，但也增加了算法的复杂度。尤其是在初始化步骤期间，除了相机位姿的初始估计外，还需要估计IMU姿态 基于RGB-D的SLAM系统 RGB-D传感器由单目RGB摄像头和深度传感器组成，大多数基于RGB-D的系统利用迭代最近点（ICP）算法定位传感器，融合深度图进而完成整个结构的重建。RGB-D设备可以直接向SLAM系统提供深度图数据，无需任何预处理步骤即可获得彩色图像数据和密集深度图，因而降低了SLAM初始化的复杂程度。该方法主要适用于室内环境，并且需要较大的内存和功率 是利用该技术在屏幕中展示导航信息。 基于惯性传感器的AR系统一般指利用陀螺仪或加速度计等惯性传感器来确定使用者智能设备朝向与用户视角。惯性传感系统具有实时性好、抗干扰能力强、输出信息大等优点，但随着跟踪时间的增加，被跟踪物体的位姿受累计误差的影响漂移较大，一般和GPS全球定位系统共同使用来完成户外AR系统的跟踪注册过程。系统使用GPS进行地理位置的粗略估计，通过惯性导航系统获取使用者智能设备的姿态，共同完成跟踪注册。 1.3.2AR/MR眼镜技术原理 作为可穿戴设备，AR/MR眼镜或头戴式设备是最能提供沉浸感的终端形式。从谷歌推出第一代GoogleGlassAR眼镜开始，AR眼镜就因便携性、可提供混合现实所需的沉浸感而吸引了消费者和工业应用领域的目光。 从技术上说，尽管AR/MR技术前景灿烂，头戴式设备已经经历了多次技术革新，但目前还有很多限制：设备笨重，无法长时间佩戴；分辨率低、视场角过小等画面显示问题。在设备优化和性能提升上仍有更多更大的挑战。为了保证近眼显示的效果，AR眼镜使用的微显示器和光学组合器的选择至关重要。 AR、MR近眼显示设备需要让使用者同时看到真实环境和与之精确叠加的虚拟画面，为了实现这一效果，一般认为有两种技术路线： •视频投射式（videosee-through）系统 设备为不透光的头盔包裹式，通过拍摄模块获取真实图像后叠加虚拟画面，在头盔内部的显示屏上显示。例如在VR头显设备的基础上添加真实环境的画面，或者使用手机作为主体搭配GoogleCardboard，都可呈现AR效果。 视频投射式AR设备由于能够对物理环境画面进行调节，因此被认为对不同背景（明暗）中的明暗虚拟内容具有良好的可见性，适合在室外等工作环境中使用。有报道称苹果未来的AR头显设备可能采用videosee-through系统模式。 •光学投射式（opticalsee-through）系统 设备通过光学系统引入真实环境光线和虚拟画面进行叠加最终呈现AR效果。由于更贴近真实环境，且设备体积更小，在光学系统的快速发展迭代的背景下，光学投射式系统是当下AR眼睛厂商的主流选择。 视频投射式（左）和光学投射式（右） 头戴式设备的主要技术指标： •视场角（FoV） 指人眼的视野范围边界形成的夹角，裸眼单目的视场角大约为水平160°*垂直130°，双目视场角约为水平200°、垂直130°。在近眼显示系统中，视场角越大，用户的沉浸式体验越好。而在屏幕显示中，像素点数一定，当分辨率提高（也即单位区域的像素点数量），屏幕的显示范围则会降低，视场角降低。 辨认。 1.3.3微显示器技术 目前，关于AR显示的微显示器研究还处于初步发展阶段。尽管处于研发阶段的微显示器种类较多，但现阶段能够用于AR显示的微显示器主要有硅基液晶(Liquid-Crystal-on-Silicon，LCoS)显示器、有机发光二极管(OrganicLightEmittingDiode，OLED)及Micro-OLED显示器、微型发光二极管(MicroLightEmittingDiode，μLED)显示器4种。 Micro-OLED显示器是市场主流选择，Micro-Led是重点探索方向，Micro-Led的量产成本控制和全彩化显示是技术发展的重点。 应用场景 应用企业/机构 LCoS显示技术 •原理：将液晶和半导体基板相结合 •特点：LCoS技术成熟度较高，但部分区域对比度较低，影响AR效果；同时其刷新速度较慢、单个像素尺寸较大，无法进一步提高分辨率 •案例：谷歌眼镜、Hololens一代和MagicLeapOne等头戴式显示器、VuzixM300 Micro-OLED显示器 •原理：Micro-OLED显示器也称为硅基OLED，以单晶硅作为有源驱动背板而制作的主动式有机发光二极管显示器件•特点：自发光、厚度薄、质量轻、视角大、发光效率高等特性，更容易实现高像素密度、易于携带、功耗低等特性 •案例：NrealAir、联想GlassesT1AR眼镜、RokidGlass Micro-LED（也称µLED）显示器 •原理：将LED薄膜化、微小化和阵列化后，可通过巨量转移技术转移到驱动电路背板上，再利用物理沉积技术生成外接电极和保护层，以形成微小间距的LED•特点：高效率、长寿命、高分辨率、高色彩饱和度、高动态范围等，且可以较高密度集成在芯片上。目前部分厂商已实现单色Micro-LED量产 •案例：单色产品OPPOAirGlass、MojoVision Micro-LED生产门槛较高，技术上面临一定挑战： •制备工艺上存在巨量转移困难 目前该技术仍在发展中。由于将驱动电路直接制备在μLED衬底上的难度较高，因此需要将μLED从其衬底上转移到CMOS驱动电路衬底上。然而，转移的μLED尺寸小、数量多，且需要精确对位和非常高的良率。 •全彩化显示困难 μLED主要采用两种技术路线来实现彩色显示。第一种为三色R