天风：VR/AR峰会实录-英伟达周锡健-广义的XR设备涉及的相关技术，NVIDIA XR解决方案的技术储备与优势20221003

前期峰会实录｜ 中国移动、Unity、影核、境腾、七鑫易维、睿悦信息、玩出梦想可下拉至文末点击 下期峰会实录预告｜ 「视+AR」成立于2012年，2015年推出首款国产自主研发的AR底层技术EasyAR。公司的主要产品和业务是元宇宙空间计算平台EasyARMega。EasyAR在全球有20万开发者，是国内使用范围最广最大的空间计算平台，已在垂直行业打造了大量的标杆案例和解决方案。 今日峰会实录分享｜ 英伟达VR/AR亚太地区拓展/负责人周锡健。以下纪要来自「虚拟想象，现实变量」系列会议现场。索取全部会议纪要，见文末。 我是负责英伟达中国区的XR的业务，还有商业拓展，还有开发者关系。今天主要跟大家分享的主题是“NVIDIAXR解决方案助力企业拥抱新的机遇”，这一次的峰会非常有意思，也提到了寻找新的策略跟机遇。 英伟达是一个技术为先的公司，我们希望这些技术可以给广大的合作伙伴，还有企业他们寻求新的策略，找到新的机遇。 这一次的分享时间有限，我们先跟大家简单介绍一下重点的技术。 首先看一下中间的VRWORKS，我们有7、8年的历史，它主要是来解决VR头盔跟PC工作站连接时候的性能问题，最经典的问题是如果头盔晕眩的时候，用我们这个可以解决问题。 旁边有个VRCapture和Replay技术。这个大家做项目的时候会用到，用这个可以记录在VR里面的操作，然后用视频进行回放实现。还有把AI的技术放到XR的解决方案里，一个是广受好评的DLSS，很多网友给我们亲切的叫做“大力水手”，是深度学习采样，基本上是实时的技术，你只要渲染1080P的画面，最后可以用AI让你得到视频更高的分辨率，对我们VR的呈现率特别好。还有NVIDIA的RIVA，可以加入对话式的AI,我们在VR里面很多动作都是一些常规的动作，例如特定的场景，例如我们在一个车的展览厅里面，我们很多的指令，例如打开车门，或者把车的颜色变成绿色、蓝色、黄色，或者把车的一些内饰做一些细微的修改，我们用对话式的AI就可以快速地做这些切换，而不用手柄，这样子比较方便。 我们通过这张图可以看到我们在虚拟世界可以做什么，有更直观的了解。 大家可以看到，在中央的是Omniverse，这个图里面可以看到，左边是一个橙色的药丸，右边是一个蓝色的药丸，橙色的药丸是真实世界，无论是虚拟的世界跟真实的世界，你只要跟互联网去连接，就需要HTML5去连接。右边是虚拟世界，我们每个人都有虚拟世界，或者每个企业都有虚拟世界，这些虚拟世界在我们Omniverse里面是怎么连接的？用我们USD，皮克斯倡导通用产品描述 ，可以把这些虚拟世界连在一起。 Omniverse是我们一个集英伟达20年技术积累的经验，我们可以在英伟达官网看到很多的东西，在Omniverse平台里面就可以方便的应用到这些。最后回到真实的世界和虚拟的世界到底是怎么相连的？就是中间这一个头盔，这个就是我们的XR。 我们的CEO在去年接受媒体访问的时候回答过这个问题，当时主持人问英伟达为什么不做显示器？当时要研究AR和VR.增强现实是从虚拟世界带到真实世界的方式，而VR是我们用来进行虫洞，我们可以在任意一个场景里面做无缝的切换。体验过VR的同学就会比较明显，因为你从一个场景到一个场景是非常方便的，像虫洞跳跃。 我们刚刚讲到虚拟世界进行连接主要是通过USD，我们觉得它越来越是虚拟世界的标准。这里是一个数字工厂里面的一些场景，我们选择一个机械臂，还有一个机床，无论是机床，还是机械臂，都是有很多层隔开，这个是分层架构。我们看到非常多的层，有物理层、传感器层，还有光照等等，天生的分层架构就比较适合我们做协同的工作，无论是设计师的协同工作，还是不同世界的虚拟协同的操作。而且分层这个设计的比较善于做海量的并发，就可以让很多人感受到。 回到主角，这是第一个场景，我们用分层USD架构，让分布在世界各地或者每个城市的设计师，通过这个平台做实时的协同，这样就大大提升了效率。从设计协同进展到数字孪生，我们把不同的团队做不同的层，例如数字孪生产品我们有数字人的训练，我们有机器人的训练，有小车里面运动轨迹的分析，甚至包括最底层工厂的文件等到，都可以通过这个平台做实时的协同。 回来XR跟VR里面，我们这个平台提供非常多的XR的扩展能力。左边这一列都是我们的软件，本身支持XR的扩展。因为Omniverse是一个平台，它也只是扩展。另外我们自己有一些软件，像Omniverse自己的软件本身也支持AR和VR 。最后我们做一些服务，无论是私有化部署，还是公有的部署，我们也有把SDK放到云端，可以进行一些微服务的拓展。 在我们Omniverse平台已经有一个APP上线了，叫“OmniverseXR”，这个软件可以下载到。同时我们在APPSTORE上面有个APP叫Omniversestreamingclient，它是世界上首个支持全光线追踪VR的协同，OmniverseXR这个是在业界里面领先的，所以这个APP一出来就受到很多对质量画面，或者仿真高要求的partner重视，特别是一些制造业的企业。 我们可以看到一些简单的效果，这个场景是一个街区，我们设计师可以马上进入到社区里面进行操作。可以把这个体验进入到一些行业里面，车企会比较喜欢，因为可以看到它有多人协同，VR设计，最后一个大屏的沉浸式的展示。我们有partner用OmniverseXR加上一个CloudXR，可以支持一个3D的效果屏幕 ，这样即使不用头盔也是真实效果。 刚刚讲的是比较重型的企业，中国也有汽车的轻工业，我们跟头部的鞋服企业也有探讨，像鞋服的设计里面也用到很多3D的技术。在中国拥有超过3万家的体验店，最后落地到每个体验店沉浸式的展示也是非常好的机会，把一些渲染效果、AI在第一时间可以接触到我们的用户。 这些是我们Partner的落地架构图，家可以参考一下，Omniverse这个伙伴也 加了很多他们自己的工具，还有传统的软件，还有各种各样的设备去达到整体的效果。 英伟达XR的体验方案重要的一环是我们的3D协同跟模拟仿真的平台，我们有个单独的SDK非常受欢迎的，叫“CLOUDXR”，把XR的体验放在云上面，可以看到有XR的内容在左边，还有英伟达RTXGPU，分布在公有云、私有云、工作站、笔记本。我们通过一切的网络可以串联到这些轻量的XR设备。 我们可以看到广义的XR设备不仅是包括原来的头盔，或者AR头盔、VR头盔，我们是支持苹果ARKIT的设备，还有安卓ARCORE设备，设备活跃的用户是超过10个亿。 我们接下来看一下CLOUDXR的技术架构，比较简单，这里用到英伟达的GPU的技术VGPU，英伟达的一个GPU可以做虚拟化，针对轻量化的AR的应用，一个GPU可以切分成两个或者四个的指令去支持用户。用到复杂的，我们甚至两张GPU一起给这个应用都没问题。我们英伟达的CLOUDXR的技术在全球几大公有云厂商都有部署，在AWS，Microsoft，中国的阿里云和腾讯云都有部署 。 用案例去贴题，我们有什么样的策略跟机遇？在一些公开数据里面显示，中国至少有超过2000万个企业，从VR诞生的那一天开始，很多的业务跟企业的培训挂钩。但是我们觉得除了传统的XR的沉浸式体验，或者由语音带来的AI的助手可以有更多可能性。 在上述图片这个案例我们把语音AI加入到企业的培训里面，每个企业都有自己的企业文化，语音AI的好处是除了这些云语音转文字之外，我们还会加入语义的理解，还有针对不同企业提供更好的解决方案。 最近比较流行的虚拟演唱会，因为疫情的关系，有一些线上的活动就没有办法像往常一样正常举行。往线上走是一个办法，虚拟演唱会的确是有逻辑上的商业闭环的基础在，因为本身演唱会就是一个演出，它可以卖门票，还有赞助商 ，里面可以提供广告，有电商的营收在里面，所以是一个新的模式，大家可以一起去探讨。如果把这种体验放在云上面做也解决很多问题，每个用户没有这么多的设备在家里，有的可能只是一个手机或者XR的一体机，但是通过云渲染可以解决，而且从卖出门票的一瞬间可以作为一个备用，可以说是一个增值服务。 这种时代还是蛮好的，年轻人都比较喜欢音乐，比较新潮的一些交互。我们后来发现，一个群体是非常适合的，就是DJ，DJ有时候的一些打碟也是很受欢迎 。 这是另外一个案例，刚刚结束的，DJ打碟，他穿着动捕服，面对镜头，就跟在一个场景里面一样，所以是非常合适。 这是一个演唱会，她穿着一个动捕设备，后面有他们的虚拟世界，这是虚拟成像，戴上头盔是另外一种体验，所以我们觉得这是非常好的商业活动。