2024触觉反馈：沉漫式娱乐的新形态白皮书

触觉 沉浸式娱乐中的下⼀个模式 2西0蒙2·4福年雷8斯⽉特,尼科拉斯·特祖梅卡斯,⻢克西姆·德⽶特⾥耶夫 内容 介绍3 什么是触觉?4 如何创建触觉体验?4 ⼈类感知5 多样化的⽣态系统6 触觉的多种⽅法7 创建触觉体验的⽅法7 触觉标准化活动9 MPEG10 IETF和W3C11 IEEE12 ATSC12 KhronosGroup13 市场机会14 触觉增强，或真正沉浸式？14 个⼈电⼦产品带来机遇15 视频潜⼒15 XR：触觉的关键市场16 XR硬件开发.17 游戏触觉反馈.19 沉浸式娱乐.21 总结.23 介绍 我们的沟通⽅式正在不断发展，以赋予沉浸式内容更多权⼒，并越来越多地将触觉（或称触感）纳⼊我们的互联体验中。这种新的模式将我们的感官参与扩展到视觉和听觉之外，为互联通信、体验和服务增添更多的深度和沉浸感。 在2011年IEEE世界触觉⼤会上，预测到到2020年，先进的触觉功能将普遍可 ⽤，预计⽤⼾不仅可以触摸和操作屏幕上所⻅的内容，还能感知形状、质地和柔软度。但组织围绕实⽤机制、技术的演进和标准化⽅法的达成需要时间；因此，今天我们已经奠定了基础。 当前，触觉存在于多种形态和不同的设备领域，如智能⼿机和可穿戴设备。它们今天提供的体验通常是对内容的增强，⽽不是完全沉浸式的，然⽽，随着触觉标准的制定和发布，这种情况注定会发⽣改变。在扩展现实中，触觉提供了 ⼀个机会，可以创造真实的场景，⽤⼾可以利⽤所有感官来增强他们的虚拟存在感。在不久的将来，通过现有的协议和⽹络基础设施，向具有精确复制触觉和感官体验技术的产品⼴播或流式传输完全沉浸式体验将是可⾏的。 本⽂介绍了创新者、设备制造商和内容创作者的⼴泛⽣态系统，所有这些⼈必须合作，以揭⽰通往增强触觉内容的路径，同时强调标准领域内的重要⼯作，以了解和⽀持全球范围内设备间沉浸式扩展现实和增强触觉内容的传递。 触觉技术是什么 触觉技术被定义为⼀系列通过应⽤振动、压⼒、运动以及在某些情况下热量等 ⼒量来传递触觉信息的技术，以重现触摸或⾝体刺激的感觉。 1994年推出的AuraInteractor是最早的可穿戴触觉产品之⼀。 它监视游戏中的⾳频信号 ，然后使⽤电磁致动器将低频声⾳转换为代表动作的振动，如踢或打。 当时被认为是商业成功 ，销售了超过40万台。 触觉学并不是⼀⻔新学科。⾃从上世纪90年代以来，消费产品中就包含了触觉技术的基本元素，当时开始在游戏机⼿柄中添加振动，并在PC游戏配件中引 ⼊⼒反馈，主要是操纵杆和⽅向盘。 触觉体验是如何产⽣的 触觉依赖于称为致动器的物理设备，每个致动器都被设计⽤于在⽪肤表⾯诱发特定的感觉，或者产⽣施加在肢体和肌⾁上的⼒量。 触觉系统的振动、⼒量和其他运动是通过不同⽅法机械地产⽣的。创建触觉感觉最常⻅的⽅法之⼀是利⽤偏⼼旋转质量致动器，它由连接到旋转轴的不平衡重量组成。快速旋转导致重量的⼒量不稳定，从⽽导致电机振荡，因此形成以振动形式的触觉反馈。 另⼀种类型的线性谐振致动器以类似的⽅式⼯作，通过电磁驱动⼀个连接到弹簧机构的⼩内部质量来产⽣振动。 配备这些执⾏器的产品可以根据需要始终复制特定的振动模式，然后编程以增强⽤⼾在沉浸式娱乐活动中的体验。在虚拟现实（VR）应⽤中，振动执⾏器经常被利⽤来创造表⾯纹理的感觉，并⽤来替代更昂贵和复杂的⼒反馈系统。这些执⾏器经常与⼿指和⼿部跟踪技术配对⽤于VR⼿套的实现。对于需要更 ⼤⼒量的应⽤，可以使⽤诸如线圈⻢达或压电执⾏器等组件。 通常⽤于创造触觉的⽰例振触执⾏器。 对于动觉应⽤，触觉执⾏器对⾝体施加⼒以增强或阻碍肢体运动。这些通常不会在⽪肤上感觉到，⽽是直接或间接地作⽤于肌⾁和肌腱。 抵抗性反馈通常⽤于外⻣骼和⼿套中，以阻碍肢体或⼿指在虚拟现实中的运动 。抵抗性⼒通常⽤于模拟操作⼿势，并具有⾼度。 有效提升⼿部交互的真实感。主动⼒反馈通常⽤于游戏控制器和⼿持触觉设备 ，以对⽤⼾的关节或⼿指施加主动⼒。这种类型的反馈通常基于电机，施加⼒量到⽤⼾的⾝体部位。这模仿了与虚拟物体的交互或模拟了与输⼊控制设备（如⼒反馈⽅向盘或⻜⾏控制器）的真实交互。 运动感知的主要应⽤是在模拟器中，它们⽤于模仿现实世界系统的⾏为。与触觉体验相⽐，运动感知的实施成本相对较⾼，通常保留给企业和商业应⽤。 ⼈类感知 触觉刺激⼈类的体感系统，提供对周围环境的物理反馈。 ⼈类⾝体内基本上有四种类型的机械感受器。 按⽪肤深度递增的顺序，它们被称为梅斯纳⼩体、梅克尔盘、鲁芬尼末梢和帕契尼⼩体。 它们分别感知触觉、轻微或持续的压⼒，最深处的感受器对振动作出反应。机械感受器协同⼯作，将这些感觉转换为神经冲动，然后在⼤脑中合并，创造对世界的物理体验。这些感受器统称为低阈值（或⾼灵敏度）机械感受器，因为即使是轻微的机械刺激也会引起它们产⽣感觉。 ⼈体内四种主要机械感受器，每种感受器共同作⽤以创造对环境的物理体验 图⽚来源：国家医学实验室，https://www.ncbi.ni.nih.gov/ 此外，触觉可以进⼀步细分为两个主要类别。 触觉：意识或感知施加在⽪肤表⾯的外部刺激的位置或位置变化。触觉反应使⼤脑能够感知压⼒、触摸和质地。 动觉或本体感觉：因个体⾃⾝运动⽽产⽣的肌⾁位置感觉。动觉反馈使⼤脑能够确定物体的⼤致⼤⼩和重量，以及相对于⾝体的位置。 触觉技术旨在通过机械刺激⽪肤表⾯以获得触觉反应，并通过阻碍肌⾁运动来获得动觉反馈，从⽽⼈⼯再现这些感觉。 ⼀个多样化的⽣态系统 尽管创建触觉系统的⽅法相对来说已经被很好地理解，但在设备⽣态系统中，关于如何⽣成触觉存在分歧。例如，使⽤偏⼼旋转质量致动器⽣成的振动与苹果的TapticEngine等更精密的技术产⽣的振动存在显著差异。实际上，这意味着构建专为TapticEngine调整的体验的开发⼈员可能需要为另⼀种触觉实现创建不同的配置。这通常意味着开发⼈员由于实施所需的更⾼成本和时间⽽不投资于卓越的触觉性能。 智能⼿机触觉组件：⼀加12（左）；iPhone15（右） 触觉体验可以在整个⾝体上创造触感。MPEG-I触觉标准（ISO/IEC23090- 31）正在建⽴，以描述执 ⾏器应放置在⾝体的哪个位置，以及物理输出应是什么，从⽽实现这些体验的复制和适应 MPEG-I场景描述标准（ISO/IEC23090-14）已定 义使⽤数字化⾝来描述⽤ ⼾及其交互⽅式，基于⼀个称为MORGAN（MPEG原始参考⼏何化⾝中 ⽴）的参考类⼈化⾝模型以及包括触觉的交互框架 多种触觉⽅法 创建触觉体验有两种常⻅的⽅法。第⼀种⽅法分析⽂件中的⾳频，并将低频成分转换为触觉信号，以驱动触觉执⾏器。这种⽅法的⼀个扩展使⽤了封装在⾳频⽂件中的特殊轨道，专⽤于播放触觉数据——这类似于⽤于驱动触觉引擎的 ⾮常低频的低⾳⾳轨 第⼆种选择使⽤描述性触觉数据，这些数据被编码到媒体⽂件中，可以通过现有的流媒体协议⼴播或通过互联⽹发送。⽬前，标准组织主要关注描述可以使 ⽤⼀致和兼容格式对触觉数据进⾏编码和解码的系统 这是⼀个复杂的⼯作。确实，触觉的编码、解码和性能评估过程与⾳频和视频的过程有很⼤不同。值得注意的是，触觉的兴趣频率范围在零到800Hz之间，其中低于5Hz的频率对动觉应⽤尤为重要 “触觉的兴趣频率范围在零到800Hz之间” ⼈体的机械感受器在平均2平⽅⽶的⽪肤表⾯积上分布不均，因此触觉信息的编码必须考虑这⼀点，并识别⾝体的哪些部分被⽬标。因此，标准必须定义并商定数学描述⼈体图谱的机制。此外，⾝体的不同区域具有不同的敏感度，因此编码可以优化以利⽤机械感受器在密度和类型上的独特属性 创建触觉体验的⽅法 当今市场上已经有⼏种触觉实现。 最常⻅的是智能⼿机提供的基本振动，⽤于在静⾳模式下提醒所有者事件、在键盘输⼊时提供触觉反馈、强调残障⽤⼾的辅助功能，或者有时在休闲⼿机游戏中更富表现⼒地增强游戏性。 iOS和Android都⽀持先进的触觉播放机制，但有点尴尬的是，它们采⽤不兼容的编码⽅案。苹果创建了他们专有的AHAP触觉效果解决⽅案，这种解决⽅案具有易于理解但⾮常富有表现⼒的语⾔来创建触觉效果，并在苹果的设备⽣态系统中运⾏。Android采⽤了略有不同的⽅法，具有⼀组预定义的振动效果 ，同时还提供⼀个灵活但需要特定设备⽀持的⾼级合成模式。基本上，这意味着效果并不总是可以在不同的智能⼿机之间移植。触觉引擎的机械能⼒差异也会影响最终⽤⼾体验。 有许多替代的⽅法⽤于触觉实现： Iersion的IVS是⼀种供应商特定的触觉格式，设计⽤于消费电⼦产品和汽⻋应⽤。 HAPT触觉数据格式是⼀种供应商特定的⽅法，⽤于移动触觉⼴告。 ⾕歌通过专有扩展扩展了他们的OGG⽂件格式，以添加触觉功能。这使得较新的设备能够解码⽂件中的触觉信息，同时保持与旧媒体播放器的向后兼容性。 Meta提供了HapticsStudio和HapticsSDK，这两个软件解决⽅案允许开发者将触觉功能添加到MetaǪuest产品中。 游戏主机实现了先进的振动和动觉反馈;但是，它们使⽤专有的效果编码⽅法 腾讯开发了他们⾃⼰的触觉格式，称为MTGPA（魔法腾讯游戏性能改进）。 同样，软件⼯具在处理触觉⽅⾯⽬前⾮常多样化。 ⼤多数专注于从⼀组基本元素构建振动触觉输出，允许调整每个效果的持续时间、振幅和深度。使⽤类似于编辑⾳频波形的⽅法，这些触觉效果可以灵活地组合成轨道，并使⽤时间轴进⼀步排列，以构建复杂的振动模式或精确的触觉反馈。正如今天我们有静态图像的图形设计师、动态图⽚的视频制作者和声⾳的⾳频制作者⼀样，很可能它们将与“触觉设计师”⼀起加⼊-这些专家使⽤扩展的⼯具集设计完美的感官体验，这些⼯具集集成到现有软件中，例如⾮线性编辑套件。 尽管有创意，⽬标是⼀样的...提供令⼈惊叹的切实的物理体验。然⽽，这种 ⽅法的专有性质以及由此产⽣的碎⽚化⽣态系统，远不⽌正当增⻓必要性为达成⾏业标准。 软件⼯具的⽰例包括HapticiabsStudio（左）⽤于移动设备;MetaHapticsStudio（中）⽤于XR;以及InterDigitai的参考软件（右）⽤于向视频添加定时触觉 图⽚来源：Hapticiabs；Meta，InterDigitai/Technicoior 触觉产业论坛旨在通过促进⾏业标准、最佳实践和触觉性能指标来团结触觉⽣态系统。 它结合了成员公司和⼏个标准组织的努⼒，包括MPEG、IEEE和KhronosGroup，确保它们融合在 ⼀起，制定出⼀致的触觉策略。 触觉标准化活动 就像⾳频和视频⼀样，标准对于定义触觉⽣态系统中平台和供应商之间的互操作性⾄关重要。从沉浸式内容创建，通过分发，到推荐⽤于触觉启⽤设备的解码和播放特性，标准建⽴了⼀致的⽅法，以确保涉及触觉端到端交付的所有⽅ ⾯都被⾼效编码和兼容。没有这些标准，⽅法将变得专有，市场机会会迅速分裂，限制内容创作者的投资。最终，这将导致不兼容的解决⽅案和低采⽤率，这是⾏业在部署任何新技术的萌芽阶段都希望避免的情况。 “领先的标准组织正在规定触觉体验的机制” ⼏个领先的标准组织正在规定编码触觉体验的机制和⽅式。在内容创建和服务交付⽅⾯，MPEG和IETF正在描述编码、封装、传输和解码触觉数据的⽅法 。 同时，操作系统和平台要求的定义正在KhronosGroup和IEEE标准组织内部同时进⾏，得到参与触觉产业论坛的成员公司的协助。 另外，⾼级电视系统委员会（ATSC）正在研究在⼴播电视和流媒体服务中实现触觉体验的可能性，旨在扩展沉浸感和参与度⽔平。 组织正在努⼒实现触觉在端到端交付链中的标准化 MPEG 对于成功部署沉浸式媒体，提供⼀种易于且⾼效的制作带有触觉嵌⼊内容的⽅式⾄关重要，因此传感效果的共同描述是关键成功因素之⼀。 2021年6⽉，MPEG发布了围绕触觉的⾸个提案征集，旨在确定未来触觉标准应基于的参考架构，以及未来技术将