AIGC 元宇宙交流纪要 –20230217

AIGC元宇宙2023-02-17公司：元象XVERSE领域：元宇宙、3D内容、AIGC融资状态：A+轮融资主要投资人：红杉中国、高榕资本，五源资本，高瓴创投，腾讯投资官方网站：http：//www.xverse.cn/元象XVERSE技术合伙人，清华大学计算机博士，图形学引擎与计算机视觉领域算法与工程专家。 目前领导开发端云协同的下一代图形引擎，AI驱动的3D内容生产工具集。 此前曾任腾讯AILab图形学组长，参与艺术滤镜、人体姿态估计、虚拟人、神经网络渲染、真实感渲染等技术研发。同时，长期担任CVPR、ICCV、ECCV、TIP等顶级国际会议和期刊的审稿人。 元象XVERSE联合创始人、商业拓展部负责人，前腾讯技术工程事业群（TEG）战略负责人、前麦肯锡咨询顾问、36氪「X·36Under36」S 级青年创业者、TEDx演讲嘉宾。 2012年她毕业于美国麻省理工学院，拥有数学计算机及管理学双学位。 曾参与领导制定腾讯在人工智能、机器人、云计算、芯片及研发效能等前沿技术领域的战略；协助创建了腾讯首个企业级AI实验室、首个企业级机器人实验室；协助业务打造了国家围棋队AI陪练「绝艺」、王者荣耀游戏AI「绝悟」、国风AI虚拟人「艾灵」、中国首个临床用AI显微镜，以及领先业界的AI种植方案iGrow等；她还协助推进了腾讯对芯片企业的首个投资、首个自建实验室，以及三款业务用AI芯片自研等工作。 元象XVERSE端云协同的3D生产与消费一站式平台，探索未来全真交互体验，定义你的世界。 9篇原创内容公众号元象XVERSE于2021年初在深圳成立，致力于打造下一代3D内容生产与消费一站式平台，提供大、真、多、轻的全新元宇宙体验，助力娱乐、社交、营销、电商等各行业3D化，实现每个人自由「定义你的世界」的愿景。 元象突破业界传统的端、云方案，自研「端云协同」3D互动技术，融合图形学、高性能计算与存储系统、音视频编解码、实时通信和人工智能算法等多项核心技术。 公司员工多来自腾讯游戏、网易、Adobe、微软等互联网或技术大厂。 元象于2022年3月完成A轮和A+轮共计1.2亿美元融资，投资者包括高榕资本、五源资本、高瓴创投（A轮领投）、红杉中国（A+轮领投）、淡马锡和CPE源峰等。 在游戏之外，一直在寻找具体落地场景的元宇宙赛道，如今正得到更多品牌的青睐，成为全新的品牌营销阵地。 以2021年成立的元象XVERSE（以下简称元象）为例，在2021年底与腾讯音乐娱乐集团TMELAND打造的虚拟音乐嘉年华，成为百万级用户在线的超大型虚拟演唱会与直播「样板」后。 他们连续与央视、一汽大众、阿迪达斯、百事可乐、雪碧、肯德基等众多品牌合作，为他们策划了元宇宙的品牌活动。为什么品牌会选择元宇宙？ 元象联合创始人王楠认为，「一方面是希望可以打入年轻用户群体，他们是从小熟悉和喜爱游戏、3D内容的一代，这是一种跟年轻用户沟通和传递情感的新方式。 另一方面，元宇宙除了自带科技潮流感，在内容形式上也确实比较抓人眼球，能利用3D新视觉和互动新玩法，让品牌跟用户建立更深层次、更长期的联系。 」而元象自己，也针对元宇宙急需的，乃至未来内容发展的必然趋势——3D内容，基于「端云协同3D互动」的技术路线，打造了一个从3D内容生产到消费的一站式平台。 为什么会选择这样的路线，「难而正确的事。 这跟我们的愿景息息相关——希望每个人能自由『定义你的世界』，这必须极大降低3D内容制作和传播门槛。 」王楠是这么回答的。 如何快速切入前景仍不明朗的元宇宙赛道，元象的选择过程或许是一种回答。 而关于3D内容如何能够快速生产，AIGC如何介入3D内容的生产，元象也有自己的思考。 嘉宾有：王楠，元象XVERSE联合创始人、商业拓展部负责人黄浩智，元象XVERSE技术合伙人1.构建元宇宙要解决两个核心关键问题：一是存储和计算，二是真实。 2.元象自研的端云协同，是针对纯终端算力和存储不够、纯云端成本高等问题提出的一个综合解决方案。 3.社会发展，并不是一维文字一定被二维图片取代，然后被2.5维视频和3D互动内容取代，而是各司其职，在同一个世界共存共荣。 4.我们的终极愿景就是「定义你的世界」，希望用户能像制作短视频一样轻松制作出自己的3D世界，随时随地不受限制地发布3D内容。 01基于端云协同，提供生产到消费的一站式服务Q：与其他元宇宙产品相比，元象的产品核心突破在什么地方？你们产品迭代经历过什么样的过程？ 黄浩智：我们产品体验特色，归纳起来就是：轻、快、美等特性。 虚拟世界的「美」在于有庞大丰富性，以及逼真材质和真实光影的感觉。 我们去年11月开放日的演示上，第一次实现日光到蓝光两个皮肤的瞬间切换。在同一个地方，用户马上会有两种不同感受。 而以往的手机游戏里，切场景要很长时间。 我们还能快速构建大世界，实现各种材质和模型的替换，再做轻量计算。 而逼真上，我们虚拟人的动作是靠视频动捕，口型由语音驱动，声音是AI合成，所以看着动作自然，声音听起来好像有一点点假，这是故意为之。 我们希望以后不依靠真人直播，用AI也能驱动一个看着很自然的虚拟人。这种体验还需要快速制作、多人体验、轻量进入。 我们此前已经支持10万人同服，目前迭代提高到20万人同服。 不过要保证多人同场+手机一点即进的轻量状态，还要保证整个光影丰富度和逼真感，挑战不小，「端云协同」技术还需要不断打磨。Q：元象定位是3D内容生产到消费一站式平台，行业内的很多公司都强调自身的边界，元象为什么要做「一站式」，这样会不会太重？底层的思考是什么？ 王楠：我们现在做一站式的3D内容生成与分发平台，看起来有点重，我们叫难而正确的事。 这跟我们的愿景息息相关——希望每个人能自由「定义你的世界」，这必须极大降低3D内容制作和传播门槛。另一方面，我们团队也有这个技术背景。 元象创始团队来自腾讯，参与了QQ空间海量存储时期（2000年日均上传照片超五亿张）、除夕夜微信红包百亿级高并发时期，参与腾讯AILab建设等重大技术项目，见证从存储驱动向计算驱动的技术转变。 所以从技术后端，我们做了三件事：一是创作工具，即内容编辑器；二是渲染引擎，背后是元象自研的端云协同3D互动技术；三是跟云打通的面向客户的线上平台。 从面向客户的前端，我们有企业方案，一是营销元宇宙，包括发布会、营销空间等；二是产业元宇宙，包括教育展厅、线上会议、招聘面试等；三是社交元宇宙，支持20万用户同服在线，是人足够多的虚拟社交体验。 另外我们还做了面向个人的元宇宙产品，针对生日会、婚礼、纪念日等庆祝活动。 一汽大众行业首个类游戏元宇宙发布会|来源：元象XVERSE公众号Q：对于元宇宙，每个公司的理解似乎都不一样，很难达到统一，在你们的理解中，它应该具备哪些关键词？ 黄浩智：构建元宇宙要解决两个核心关键问题：一是存储和计算，二是真实。 元宇宙能被称之为一个世界，是因为其足够庞大丰富，这就涉及到大量的存储，以及这些内容的表达和呈现，这些效果对存储和算力的要求都很高。 其次是要真实，要实现渲染的真实，虚拟世界的拍照远比现实世界复杂，需要考虑世界的规律、光照的反射等等，如果处理不公众号新价值人好，很容易导致虚拟世界里面拍照时光影与真实世界不同、违背自然物理规律。 即便是做一个卡通或艺术风格的东西，也要在现实上抽象处理。我们认为有吸引力的内容一定跟真实有联系，观众才能产生共鸣。 王楠：我认为的真实，不一定是要现实中存在的，而是要给用户更强烈的代入感和沉浸感。如果虚拟世界规律与真实世界相同，大众就不需要再去理解和适应规则。 此外，还有一些小众群体，可能会希望有超越现实的体验，在虚拟世界造梦。未来元宇宙内容关键还是要持续降低创作门槛和使用门槛。 我们2023年会推出创作工具X-Creator，希望更多人能参与；除了UGC，AIGC也是内容效率提升关键，我们会继续投入。 Q：你们自研的「端云协同3D互动」目前成果如何？ 为什么会选择这样的一种技术路线，这是主流的路线还是你们的独立思考？ 黄浩智：元象自研的端云协同，是针对纯终端算力和存储不够、纯云端成本高等问题提出的一个综合解决方案。 我们会把角色动态相关的内容放在端上渲染，因为人对角色相关的延迟很敏感，而云上串流会延迟，所以用端快速反馈。这很类似手机游戏引擎在做的事，就是进行各种形式的优化和成本压缩。 然后我们把大规模场景、复杂光照放到云上计算。 通过预计算，比如光照烘焙，把光路传播存储下来，在普通用户之间共享计算结果，可以降低成本。 云上这些渲染结果下发到终端要走串流，我们有编解码专家研究如何节省带宽，把这些结果及时传到终端，再跟终端计算结果融合在一起，通过整个链路的极致优化，我们能做到成本比云游戏更低。 元象希望兼具产品轻、快、美三个特性。 拆开来看，市面上都有，有做大场景、有做电影材质，但很多就没法做到很轻，没法手机一点就进。所以能同时做到三点的，市面上很少。 端云协同的技术优势|来源：元象XVERSE公众号王楠：也要考虑成本。不计成本的话，市面上确实会有一些方案。 但评估商业化可实现时，低成本就很重要。 用云游戏方案开一场十万人同时在线的发布会或演唱会，成本非常高。 所以我觉得元象方案或许能更好推动行业3D化实现，用较低成本让海量用户有轻快美的3D体验。黄浩智：未来规划上，技术上端云协同远未成熟，还需进一步探索。 我们目前集中做动态，更多关注角色，其实动画或物理仿真也有待加强。 此外，我们也在考虑是不是完全用云做渲染，端做角色，这里端云具体如何协同也在不断迭代。 王楠：从用户场景角度看，接下来还有一个可能是虚实融合，如何通过技术让虚拟和真实世界连接，也很值得期待。 02内容3D化是未来的必然趋势Q：3D内容创作的核心挑战是什么？ 3D内容为何生产门槛高，内容呈现门槛也高，具体难在哪里？ 黄浩智：用户最早期接触的3D内容一般是游戏，但开发周期很长，通常以年为单位。 而从3D具体生产方式来看，一是完全来源于现实，用扫描或重建模型，包括材质、光影作用、动作捕捉等；二是凭空设计，比如动画，需要一些创作工具辅助艺术家实现。 近些年来涌现出了很多材质、场景整合等工具；三是当下新兴的AIGC，根据已有数据做衍生，创作更多新内容。这些都需要专业人才、专业工具，所以制作门槛也高。 3D内容呈现上，手机游戏相对于PC端，在画质和复杂度上做了很多减法，更多是在做一些模仿。 近年来云游戏越发受关注，是利用云上大规模计算和存储解放终端，把终端变成看视频的工具，但纯云端渲染背后需要大规模算力，带宽网络传输成本不菲，短期内估计无法大规模推广。 我们自研的「端云协同」路径，就是想综合利用云上和端上的计算资源，希望短期内做到足够轻量化，让每个人都能一点即进。 Q：3D内容上，并不是一个新潮流，3D本身就有较长的发展时间。 比如，在1990年代初期，科学家和工程师们预判虚拟现实VR将会提供可视化数据的新方法，成为与计算机交互的新界面。 1993年末，软件工程师马克·佩斯和安东尼·帕瑞斯创建了一个3D网络浏览器的雏形。随后VRML这个术语被提出，全称是虚拟现实建模语言。 VRML试图通过互联网动态链接到虚拟的3D世界，创建人们想象中的元宇宙，人们可以在这个世界中自由的聊天、交易、学习和购物，但之后却失败了。 为什么之前3D内容没有发展起来？ 黄浩智：3D内容一直在迭代，呈现出螺旋式的渐进发展。 大家近年来开始关注元宇宙，我觉得是背后有三个技术契机：一是英伟达推出的GPU，推动了实时光线追踪技术发展，逼真程度大幅提升。二是云计算发展，出现了云游戏到端云协同等计算上的尝试。 三是VR、AR头显技术的发展，终端设备演进反过来推动3D内容发展。 王楠：从应用角度，游戏已经基本实现3D化，但游戏