苹果发布Vision Pro，空间计算平台开启

苹果发布Vision Pro，空间计算平台开启 2023年6月6号，苹果在WWDC大会上重磅发布MR眼镜Vision Pro，此次发布的MR堪称虚拟现实的革命性产品，Vision Pro开创了一类新的计算设备，能将数字世界融入真实世界，从而实现增强现实（AR），这种新的计算范式为“空间计算”。空间计算(spatialcomputing)技术可以参照现实的物理世界构建一个数字孪生世界，将现实的物理世界与数字的虚拟世界连接在一起，使我们能够进入并且操控3D空间，并用更多的信息和经验来增强现实世界。苹果CEO库克表示：“就像Mac让我们接触到个人电脑，iPhone让我们接触到移动计算一样，Vision Pro将向我们介绍空间计算，这标志一个里程的开始。” 芯片算力大幅提高，屏幕、光学方案带来全新体验： 苹果在2023年6月6号发布MR眼镜Vision Pro，预计明年初上市，售价3499美金，此次苹果发布的MR，从硬件来看，与此前虚拟现实产品有极大提高。（1）屏幕：采用两块Micro OLED，单块屏幕分辨率达到了3500×3800，接近两块4k屏幕的分辨率，屏幕尺寸仅为1.3寸，显示效果远超目前市面上的VR设备。（2）芯片：Vision Pro采用独特的双芯片设计，包括一枚Mac级别的M2芯片，同时配置实时传感器处理芯片R1。强大的M2芯片同时运行vision OS，执行先进的计算机视觉算法，并以极高的效率提供惊人的图形效果；全新的R1芯片则专门负责处理来自相机、传感器和麦克风的输入，将图像实时传输到显示器，实现几乎无延迟的实时视图，响应时间仅为12毫秒。（3）光学系统：苹果采用了和Quest Pro及Pico 4相似的Pancake技术，但是相比双镜片，苹果采用了3镜片的方案，从而实现更好的光学效果。（4）传感器：集成12摄像头、5传感器、6麦克风的传感系统，交互体验大幅提高。 共享苹果海量生态应用，使用场景大幅拓宽： AppleVision Pro运行的是苹果最新操作系统——visionOS，苹果称其为“第一个为空间计算而设计的操作系统”。visionOS的交互方式包括了传统的虚拟键盘、语音输入、以及键盘鼠标触摸板，除此以外苹果还引入了眼动交互和手势交互。在应用生态方面，visionOS将拥有一个全新的App Store，人们可以在其中下载Vision Pro应用程序，而Vision Pro将能够运行“数十万熟悉的iPhone和iPad应用程序”。在应用场景方面，Vision Pro可以满足传统XR设备的游戏、视频以及社交场景，同时凭借强大的硬件与丰富的生态，还可以在办公、医疗、商业教育等领域带来沉浸式体验。 相关标的： 未来随着XR设备的发展，国内产业链深度受益，设备推荐华兴源创（688001）、立讯精密（002475）,建议关注杰普特（688025）、博众精工（688097）、荣旗科技（301360）、赛腾股份（603283）； 显示建议关注清越科技 （688496）；IPD调节关注兆威机电 （003021）。 风险提示：Vision Pro产品销售不及预期风险；产业链成熟度不及预期风险；Vision Pro系统研发不及预期风险。 1.Vision Pro，开启空间计算平台新时代 1.1.苹果发布Vision Pro，新一代空间计算平台开启 2023年6月6号，苹果在WWDC大会上重磅发布MR眼镜Vision Pro，Vision Pro开创了一类新的计算设备，能将数字世界融入真实世界，从而实现增强现实（AR），这种新的计算范式为“空间计算”。苹果CEO库克表示：“就像Mac让我们接触到个人电脑，iPhone让我们接触到移动计算一样，Vision Pro将向我们介绍空间计算，这标志一个里程的开始。” 空间计算(spatial computing)，通常是指采集、获取、处理和交互三维化多模态数据的一系列理论、技术和工具，其本质是让计算机理解物理世界，并以此为基础，无缝地融合真实世界和虚拟世界。相对于建立在数据与逻辑（算法）的传统计算，空间计算增加了相对位置的信息，进而将人类的计算能力进行了全新的扩展。 苹果将现实空间、真实世界放在了空间计算的绝对核心位置。苹果Vision Pro的空间计算，本质上是基于现实空间进行计算，将真实世界和虚拟世界混合在一起，产生新的可视化环境，在新的可视化环境里物理实体和虚拟数字对象共存，并实时互动。用户通过Vision Pro看到的所有虚拟画面，都可以理解为，是在真实世界上“覆盖”了一层更加优质的“图层”。 于此前市面上的VR和AR不同，不此次苹果发布的MR强调了与现实场景的互动。此前的VR产品对于用户来说，是一种与外界隔绝的沉浸式体验，所有的交互全部发生在VR设备所营造的虚拟环境之中。AR产品对于用户来说，是在用户看到的现实环境上添加一层数字内容，也就是增强现实。MR是在VR和AR的基础上更进一步，它是可以与现实环境中的物理对象混合并互动的数字体验。 图1.VisionPro产品图 空间计算的关键技术包括三维重建、空间感知、用户感知、空间数据管理等，其实用化功能建立在芯片与传感器、人工智能、计算机视觉等技术进步之上。空间计算的技术逻辑能够自洽的前提是虚拟空间的画面效果要达到肉眼精度，这种精度取决于摄像头和传感器捕捉的现实影像的精细程度。为了构建空间计算平台，苹果Vision Pro在多方面相较以往产品都有大幅的领先： 1.在软件和应用上，Vision Pro运行全新的visionOS操作系统，搭配全新的App Store，iOS和iPadOS上app应用可以移植到MR眼镜上，并为开发者提供了熟悉的开发环境。相比以往VR应用的开发，MR应用开发的难度大幅降低，并且MR应用可以被手机等产品复用，MR应用生态大幅改善。 2.在交互体验上，苹果引入由眼睛、手和声音控制的全新的输入系统，用户可以通过简单地注视、轻敲手指或使用语音指令来浏览应用程序，大幅改善了交互体验。相比以往的VR，苹果使用手势识别取代了过去的手柄操控，重新定义了虚拟现实交互方式。 3.在硬件上，VisionPro搭载了MicroOLED屏幕（单眼大于4K），M2+R1芯片（算力大幅提高，可以极大降低延迟，传输数据12毫秒就可以触达）。在传感器上，VisionPro集成了12摄像头、5传感器、6麦克风的传感系统，使Vision Pro仅依赖于视觉、语音和手势就可以实现高效实时交互。 4.在应用场景上，VisionPro除了可以应用于影视、游戏、视频、社交等场景，还可以融入办公场景，有望成为下一代生产力工具。 VisionPro兼容iOS和iPadOS的各种软件，可以办公、娱乐，拍摄空间视频，并且只需要手、眼和语音就能交互，重新定义了头戴式设备的标准。目前，苹果VisionPro已经开放了开发者测评，从目前测评反馈来看，VisionPro的硬件堆料以及交互方式的革新使得其体验感超过了市面上其他头显设备。同时苹果利用已纳入至Xcode 15 Beta 2的visionOS SDK，使得全世界的开发者都可以开始为苹果Vision Pro设计、构建和测试应用程序，大大减少了开发者的上手难度，为构建visionOS生态提供便利。 表1：VisionPro参数汇总 1.2.芯片：芯片算力强劲，延迟以及眩晕大幅改善 VisionPro采用了独特的双芯片设计，包括一枚Mac级别的M2芯片，同时配置实时传感器处理芯片R1。强大的M2芯片同时运行visionOS，执行先进的计算机视觉算法，并以极高的效率提供惊人的图形效果；全新的R1芯片则专门负责处理来自相机、传感器和麦克风的输入，将图像实时传输到显示器，实现几乎无延迟的实时视图，响应时间仅为12毫秒，以展现世界的真实感。M2芯片与R1芯片协同工作以实现虚拟和现实的无缝结合。 对头戴系统而言，传感器和显示屏之间的延迟会让人产生行动不适，这种3D眩晕被称为晕动症。引起视觉晕动症的原因很多，最重要的是帧数过低。这里有两个指标：一个是人眼刷新率极限，这个无定论，一般认为60Hz即比较流畅；另一个是相关但不完全相同的指标，头动和视野的延迟，一般认为超过20ms即会发生眩晕。苹果通过在Vision Pro中搭载专门处理图像的R1芯片，使得延迟降低到12ms以内，解决了传统头显设备的晕动症问题。 图2.VisionPro双芯片设计 苹果M2芯片基于ARM架构，釆用台积电 5nm 工艺，包含200亿个晶体管，此前更多应用在13寸MacBook Pro、13寸和15寸MacBook Air(M2芯片机型）当中，相对于M1有着18%CPU和35%GPU的提升。M2具有8个CPU内核，分为4个性能内核和4个能效内核。性能内核提供192KB指令缓存、128KB数据缓存和16MB共享二级缓存。效率内核要小一些，仅提供128 KB指令缓存、64KB数据缓存和4MB共享缓存。效率内核时钟频率为2.4GHz，性能内核的时钟频率则到达3.5GHz。另外M2中的集成显卡提供8-10个内核以及3.6TFLOPs的峰值算力。 此外，SoC集成了一个具有16TOPS峰值性能的高速16核神经网络加速器（属于DSA，用于AI计算加速）。 图3.M2芯片主要指标 苹果R1芯片专门负责处理与相机、传感器和麦克风相关的输入和数据流。R1芯片可能包含专用硬件加速器和接口，以支持高效的图像和音频数据传输。因此，R1芯片可能负责以下任务： 1.相机输入处理：R1芯片可以处理从相机中获取的图像数据，包括图像采集、图像压缩和解码等功能。它可能支持不同类型的相机接口和传感器，以便与各种摄像头和传感器进行通信。 2.传感器输入处理：除了相机，R1芯片还可能处理其他类型的传感器输入，例如环境光传感器、距离传感器、陀螺仪等。它可以从这些传感器中获取数据，并进行解析和处理，以支持空间体验的感知和交互。 3麦克风输入处理：R1芯片可能负责处理麦克风输入，包括音频采集、噪声过滤、语音识别等功能。这可以使设备能够接收声音输入，并与用户进行实时交互。 R1处理器目前可集中处理来自陀螺仪、加速度计、气压计和麦克风的多模态数据，并增加了惯性测量单元(IMU)、蓝牙5.1、超宽带(UWB)和摄像头（包括运动捕捉和光学跟踪）传感器数据的多模态计算支持。其中蓝牙5.1的到达角(AoA)和出发角(AoD)功能可实现蓝牙测向。 图4.VisionPro双芯片布局 Meta早在苹果宣布之前的几天就推出了他们的最新AR/VR头戴设备——Meta Quest 3，其搭载了高通骁龙XR2Gen2芯片组，为了增强其跟踪能力，它结合四个摄像头阵列，包括两个侧面摄像头以及一个深度传感器。目前市面上主流AR/VR头戴设备多采用高通骁龙X R2 Gen1芯片，其采用 7nm 制程工艺，相较于苹果M2与骁龙XR2 Gen2芯片，其图形性能大幅落后。 高通与Meta共同开发的采用 4nm 工艺制造的全新SoC—骁龙XR2 Gen2在图形性能方面有所提升，仅GPU就能带来2.5到3倍的性能提升。但Vision Pro采用M2+R1双芯片设计，在图形渲染与响应速度方面都要明显优于Meta Quest 3。M2芯片在图形处理、运算速度以及存储能力方面大幅增强混合设备的性能。双芯片设计，外加M2级别的算力和能效比，再加上眼球追踪来节省算力，使得该设备能达到8K超高解析度。 表2：相关芯片参数对比 1.3.屏幕：搭载Micro OLED屏幕，单眼分辨率大于4K 苹果VisionPro搭载2片4K Micro OLED面板和一片普通OLED面板。MicroOLED面板由索尼供应，分辨率达4K，像素密度达3000PPI以上，解析度更能达到8K超高解析度；普通OLED面板则由LG Display供应，具有超低刷新率和更低的功耗，能够用来简单显示状态。 从显示面板的技术分类来看，目前主要包括LCD、OLED、Micro OLED以及M