天风：AI+MR核心技术公司：七鑫易维 路伟成 | 眼球追踪，奇点已至【WAIC AI+万物生长论坛】20230707

演讲嘉宾：七鑫易维副总裁路伟成演讲主题：眼球追踪，奇点已至时间：2023年7月7日 嘉宾演讲实录 一．眼球追踪技术 眼球追踪技术通过传感器技术和AI技术相结合，来获取用户眼睛的相关信息，例如注视点位置、瞳孔尺寸与位置、眼部张合度等。这种技术可集成于XR、交通工具、手机、PC等各类产品，用于交互等各种场景。 眼球追踪技术的基本原理是通过摄像头模组捕捉人眼图像，辅以近红外LED光源阵列，通过计算机视觉和人工智能AI算法获取人眼的特征数据。 二．七鑫易维简介 七鑫易维是中国眼球追踪技术的领导者，自2009年成立以来，技术积累超过14年。 公司专注于眼球追踪技术，目前在该领域为国内第一，全球专利总量申请超过500项（近300项通过审核公开），包括超过一半的发明专利。 公司已有许多上市的眼球追踪产品，包括配件式与集成式的产品，并将以集成式产品为未来的主要发展方向。 公司与我国绝大多数VR、AR领域相关企业形成合作关系，并将持续研发和推广产品上市。 三．眼球追踪奇点已到 目前全球VR、AR头部企业正越来越多地使用眼球追踪技术，并以VR领域居多 。眼球追踪技术在XR场景中的应用细分很多，最为典型的案例是苹果公司最新发布的VisionPro产品，它深度挖掘了眼球中的六大潜力，包括注视点渲染、瞳距调节、表情追踪、反向透视、交互和虹膜识别。 1.注视点渲染 注视点渲染用于解决分辨率高但算力不足的问题。目前AR的视场角在25-50度左右，VR视场角为90-110度，而人眼的视场角可以达到200-220度。因此，若想提升用户体验就需要扩大视场角。同时，目前苹果将分辨率提升到了40像素每度，仍低于人眼60像素每度，未来分辨率也将越来越高。注视点渲染使眼睛注视区域呈现高清状态，而周边分辨率较低，从而使得算力压力整体下降。 通过七鑫易维等眼球追踪公司与GPU公司合作可以实现注视点渲染技术。公司落地的产品包括以小派8KVR搭配七鑫易维DroolonPi1眼球追踪配件形成的产品。公司还实测了带有注视点的游戏，通过注视点渲染有效降低了GPU占用率并提升了帧率，从而提高了VR用户的综合体验。 友商的产品包括QuestPro及PSVR2，前者通过AI技术将中心区域像素的密度提 升了33%，后者也通过注视点渲染和眼球追踪技术提高了GPU帧数。2.瞳距调节 由于人与人的瞳距之间有差异，因此需要通过VR进行瞳距手动或自动调节。瞳距手动调节已较为普遍，包括VivePro、小派等七鑫易维眼动配件，自动调节则需要眼球追踪公司与微传动公司合作实现。七鑫易维于2017至2018年已与歌尔实现了自动瞳距调节VR原型样机。目前已经上市的自动瞳距调节产品有Varjo、Pico4Pro、AppleVisionPro等。 3.表情追踪 表情追踪通过眼球追踪技术将用户的眼部动作通过Avartar复现出来。友商项目包括QuestPro、PSVR2、Pico4Pro，这些产品都添加了表情追踪，其他部分项目还添加了嘴部追踪，使得Avartar的动作与用户完全一致。 4.交互 七鑫易维实现交互的应用场景包括通过眼睛选择菜单，通过眼睛辅助游戏操作 ，如切水果、打地鼠等。 交互还有许多其他的应用场景，例如显示用户所注视元素的相关信息、自动滚动、自动缩放、自动切换、自动隐藏或显示以及拖拽移动等。如QuestPro、PSVR2等友商产品展示了交互VR打字、用眼睛调整灯光、辅助瞄准等。 游戏当中可以利用交互实现辅助瞄准，当用户眨眼的时候恐怖的人偶就会发生移动等。诸如此类在游戏当中的交互场景多种多样，给开发者提供了广阔的想象空间。 苹果在VisionPro发布会的宣传中，强调了眼动、手势与语音三者相结合进行交互的重要性，将其与苹果公司产品在键鼠交互、触控交互所做的颠覆性创新相媲美。Meta调查研究也再次强调了基于眼动追踪的交互具有巨大的潜力。 5.虹膜识别 在VR、AR领域，虹膜识别是最安全、最便捷、最低成本的身份识别方式。七鑫易维早在2018年就在许多项目当中实现了虹膜识别的应用。不久前创维、微信支付与七鑫易维一同提供了虹膜识别与眼球追踪的整体解决方案。微软、苹果等公司也已经加载了该技术。 6.眼动数据分析 眼动数据在用户允许的前提上可以挖掘出大量的分析应用，形成用户消费的精准画像。同时，还可以在脑认知健康和视觉健康上结合AI技术进行大数据的分析，判断被试是否存在认知方面的健康问题，例如老年痴呆、抑郁症、多动症 、弱视/斜视以及视觉疲劳等。该技术在行业B端已经有广泛的应用，并正逐步渗透到C端消费端。 七鑫易维的demo显示，商家可以实时观察到用户在场景当中的关注点和注意力，从而结合AI技术透彻地分析用户的消费偏好。 其余眼动数据分析的场景例如虚实融合对齐、解决VAC问题等还依赖于其他技术的发展，但随着总体技术的发展，眼球追踪技术会越来越多。 总结 XR眼球追踪在近两年会在VR场景当中成为标配，在AR领域中开始逐步提高渗透率。2023年，苹果VisionPro的发布是一个大事件，其眼球追踪技术的应用将提供很好的市场教育。