天风：AI+3D引擎公司 Unity: 梁璐 | 用AI驱动创意，AI技术助力Unity创作【WAIC AI+万物生长论坛】20230707

演讲嘉宾：Unity中国CMO梁璐 演讲主题：用AI驱动创意，AI技术助力Unity创作时间：2023年7月7日 嘉宾演讲实录一．Unity介绍 Unity是一家全球领先的实时3D内容创作和运营软件公司。公司构建了丰富繁荣的内容生态。公司旗下的核心产品，Unity引擎，目前已覆盖了190多个国家和地区，服务3000多万开发者，应用领域涉及游戏、汽车、元宇宙、文旅、消费、工业、医疗等行业。公司拥有强大的跨平台支持能力，赋能千万创作者。Unity支持市场上几乎所有的主流平台，且基于Unity开发的应用，在不同平台上的代码复用率高达90%以上，帮助创作者实现“一次开发，跨平台部署”。同时，Unity的技术也随着硬件在持续迭代。今年苹果最新发布了搭载visionOS的VisionPro，Unity作为visionOS的原生合作方之一，率先为开发者提供了技术支持，赋能次时代XR内容创作。 二．AI如何赋能创作工具？ Unity致力于推动实时3D内容创作大众化，帮助开发者解决最难的技术问题，从而提升效率，释放创意。将AI技术融入引擎，有利于大幅降低创作门槛。 Unity官方发布的UnityMuse和UnitySentis：两款产品于上个月发布，UnityMuse是一款AI辅助创作的泛用型平台，UnitySentis则允许将神经网络嵌入到构建中，实现前所未有的实时体验。在这两款产品的赋能下，用户只需输入文字即可搜索到信息，仅画出草图就能生成资产草稿，极大地缩短创作时间，并完善工作流程。 来自UnityAIHub的9款AI解决方案：Unity深度挖掘丰富的开发者生态，经过严格验证，将其开发者的9款AI产品上架Unity资源商店AI专区（UnityAIHub ）。这些AI产品能与Unity编辑器实现无缝结合，开箱即用。UnityAIHub是一个专用于AI工具交易的平台，能够帮助用户更轻松地获取AI工具，也为AI工具的创作者提供了新的创收渠道。 Unity前瞻性地使用AI技术赋能内容生产，持续探索如何利用AI参与数字内容生产，指数级降低工作量。 AI+数字角色： Unity收购的ZivaDynamics公司擅长复杂模拟与模型变形，通过AI计算，可将数字角色的面部创作从原先所需的几周几月，缩短至一次云端的点击，在瞬时生成内容。公司正在将Ziva的更多工具集成到Unity引擎，例如ZivaFaceTrainer，利用AI技术，将中立脸模型生成表情Rig；ZivaRT技术，可以利用AI技术从骨骼姿态实时推理出mesh的变形。 Unity收购的WetaDigital公司参与过《指环王》《阿凡达》等好莱坞大作的制作，UnityWetaTools使用了大量AI技术来实现影视级角色面部细节。 AI+数字场景： 利用AI技术，UnityWetaTools同样能够赋能影视级视觉特效及大规模场景模拟。 AI+数字物体： Unity收购了3A级植被建模工具，SpeedTree，该工具能通过AI生成大量的效果逼真的植被。 AI+数字材质： Unity的ArtEngine产品通过AI技术，可以实现纹理照片的去瑕，生成数字纹理材质效果。 三．3D生成式AI技术趋势生成式AI大模型的影响： 重塑内容交互方式，提升生产工具效率：AI大模型使得欠缺技术背景的使用者也能创作出专业产品，提高工作效率。 社会阵痛与发展机遇并存：一方面，在文本和代码生成领域，已经出现了一些高效的AI工具，可能会带来市场颠覆；另一方面，AI难以完全取代渲染、创意类等工作，将作为辅助开发者的工具而存在，提升创作效率；此外，AI有望催生新职业，例如人工智能提示工程师等。 AI发展趋势： AI引领行业发展，3-5年内将迎来质变：AI能够用更低的成本打造更高质量的作品，有望开拓新业务，引领元宇宙发展。 从小模型到大模型：Unity虽然较早开始使用AI技术，但主要是面向开发者的专用领域小模型。未来趋势是AI大模型，例如ChatGPT、StableDiffusion等，大模型使得普通大众能够创作出专业级的作品。 大模型的“通用”转向“专用”：为了在专用领域达到更好的表现，还需对通用的大模型进行专门训练，例如使用LoRA技术让大模型专用化。 总结 Unity正在探索如何使用大模型更好赋能创作，相信除了UnityMuse和UnitySentis，未来将会有更多AI产品带来惊喜。