社交元宇宙的技术挑战与探索

社交元宇宙的技术挑战 与探索 SoulApp／甘启 2022.09.27 A全rch球Su架mm构it 师峰会 InfoQ 目录大纲 ·元宇宙社交场景 ·技术能力的探索 ·与用户的能力共创 ·元宇宙社交平台的畅想 ArchSummitInfoQ 元宇宙社交场景 A全rch球Sum架mi构t师峰 InfoQ 敏捷智能 沉浸想象 A全rch球Su架mm构it 师峰会 InfoQ 匹配 学校 兴趣家庭跨空间 合适的时间跨语言 行为+工作 合适的对象 跨时间 关系智能机器人 ArchSummitInfoQ 交流 魂淡君官方 面对面交互互动 DJi派34023 双鱼座有什么特点呀 我觉得双鱼座的特点就是很好 相处 文字聊天AR场景具体解析下双鱼座呗 出生日期：2月19日～3月20 日；最大特征：多情；星座分 VR场景 析：双鱼座是十二宫最后一个 语音聊天 星座，他集合了所有星座的优 缺点于一身，同时受水象星座 的情绪化影响，使他们原来复 杂的性格又添加了更复杂的一 笔。双鱼座的人最大的优点是有一颗善良的心，他们愿意帮 助别人，甚至是牺牲自己。 视频聊天智能助手 ，那你给双鱼座做 首诗吧 洛城人垂秦羞将，上将死拆劣啖，洛城空徐声迦，积雪 出得然决 A全rch球Su架mm构it 师峰会 InfoQ 学术&商务 线下场景可配置形象可选择 ↑ 远程商务 演讲学术授课 UNNP 沉浸 参与 Reference: [1]https://www.youtube.com/watch?v=odbqlASYv9E [2]film《Kingsman:TheSecretService》 A全rc球hSu架mm构it师峰会 会议讨论 形式不受限效果可触发安全可保障 InfoQ EARN 娱乐T FARN 文化“活”起来 游戏购物 景 旅行聚会 故宫 Reference: [2]https://hado-official.com/ 3]film《ReadyPlayerOne》 4]https://www.dpm.org.cn/Home.html [5]https://www.huaweicloud.com/product/live/dspace.html ArchSummit InfoQ 人生里程碑 Celebratingthelifeof muchlove 升学婚礼葬礼 grandfather Reference: [1]https://www.mana.art/article/detail/1658914316562464684 [2]https://www.kunanji.com/redian/zatan/316116.html [3]https:/www.designboom.com/technology/japanese-university-remote-controlled-robots-zoom-virtual-graduation-04-06-2020/ [4]https://www.ritualstoday.co.uk/virtual-funerals-honouring-a-life-in-times-of-covid-19/ A全rch球Su架mm构it 师峰会 InfoQ 其他 Reference: [1]https://www.roadandtrack.com/car-culture/videos/a28918/player-two-short-film/ [2]https:/www.youtube.com/watch?v=exvAxUee4M [3]https://www.163.com/v/video/VEGOFNGMO.html A全rch球Su架mm构it 师峰会 InfoQ 技术能力的探索 A全rch球Sum架mi构t师峰 InfoQ 能力分析 设计 图像 煊染 生态 推荐 元宇宙 社交 内容 NLP语音 A全rch球Su架mm构it 师峰会 InfoQ NAWA NΛWΛEngine是一个集Al，染与图像处理于一体的集成化SDK 输出包含Avatar表情驱动，美妆美颜，卡通化等十余种图像处理与 2/3D染能力，同时开发了匹配的编辑器，进行个性化生产。 IntegratedSdk,OutputIncludingAvatarExpressionDriver,BeautyMakeup 2/3dRenderingCapabilities, AtTheSameTime,TheDevelopmentOfAMatchingEditor,personalizedPro-duction. >>>> A全rch球Su架mm构it 师峰会 InfoQ API (c++/ocljava) EventCV2DRender3DRender 触摸 拍照 人脸框/角度检测 人/猫关键点检测 人像美化贴纸 录制 3D人脸重建 镜头特效 表情 表情识别 全图模糊 手势 手势识别 调色滤镜 Gan风格化 风格化滤镜 3DAvatar 3D贴纸 AR面具 3Dbody 场景染 ArchSummit InfoQ CV能力 人脸人体生成场景宠物 三维表情 属性pose 手部人像风格属性素材深度平面猫/ Reconstruction 重建识别识别估计 关键分割化编辑生产估计识别狗关 点键点 A全rch球Su架mm构it 师峰会 InfoQ 特效&染能力 基础特效材质动画场景灯光 美颜Morph 骨骼关键 点光 平移源 平行 HDR全局 滤镜变形贴纸美型 PBRSSS 动画动画 顿动旋转 光环境光照 美妆画 缩放聚光光 灯 ArchSummitInfoQ Soul SoulAPP Soul SoulAPP inos SoulAPP 开放式元宇宙场景 Soul SoulAPP SoulMeta意在通过构建以3DAvatar 数字身份为核心的多元数字生态，实现 与用户共建的： 体验层 游戏化社交体验 以Soul为连接的多终端社交元宇宙”应用层 沉浸式场景”虚拟形象 NAWA 核心引擎能力 推荐系统一一灵犀 跨场景联动业务价值 更精准的相似兴趣群组更匹配的灵魂匹配更及时的广场内容 推荐用户推荐 匹配 跨场景分数组合灵犀推荐2.0行为 用户全场景广场 建模行为特征行为 匹配场景推荐广场场景 商业化场景送礼群聊 匹配分亲密分预测分 用户全场景行为 兴趣画像 提升提升 匹配深度聊天率推荐广场互动消费用户送礼率提升 直接优化场景内业务效果 ArchSummit InfoQ 智能语音引擎--伶伦 数字人交互语音安全审核虚拟KTV房间 应用场景 Sout SoulAPP 功能模块 语音识别语音合成 语音引擎 歌声合成空间音频 ConformerWav2VecWFST 基础算法 FastSpeechGANLSTM A全rch球Su架mm构it 师峰会 InfoQ 对话系统一一仓颉 应 用魂淡君闲聊虚拟男/女友AI视频语音通话可定制NPC 知识融合人设定制主动对话跨模态对话性能优化 功数据分析 能长期记忆仓颉对话引擎情感抚慰 模 块安全过滤 私聊预训练GPT3生成精排属性蕴含情绪情感 模型模型模型识别模型识别模型数据清洗 数大规模预训练语料人工标注语料知识数据各类服务API 据 ArchSummitInfoQ 与用户的能力共创 A全rch球Sum架mi构t师峰 InfoQ 内容&玩法 个性化参与感技术赋能 数据打通 去中心化 虚拟资产 ArchSummitInfoQ Soul WARNI 技术赋能一一便捷 三口 441 SoulNAWAAi NAWAAi NAWAAi请保证头部位于已为你生成专属虚拟形象 NAWAAiNAWAAi DearSouler 快来试试Soul的3D捏脸吧！ 确认使用 塑新拍照生成 开始捏脸 跳过预设 全Arc球hSu架mm构it师峰会 InfoQ 技术赋能一一丰富 制新究成版本：1.08.0 0.00女单人静态2摄像机变化女单人静态2聚随设置女单人静态2病光女单人静态2 ✁用城RA✁M分量GGX X500Y10502 410Y 摄像机变件 镐射设置 布料设告 骨酪设置 ✁用动态骨 点加效点打包加打包馨停制新国保荐出加就出打包智停刷新保荐卤加款卤打包 设计素材编辑器道具功能 用户感 知 全Arc球hSu架mm构it师峰会 InfoQ 虚拟资产 购买 实体化交易 个性商城我✁交界 搭潮听战费 流通创造 超级限定国国 本看全部 全部 编辑SouLAPP·天国彩·MRAZ三R ArchSummit InfoQ 元宇宙社交平台✁畅想 A全rch球Sum架mi构t师峰 InfoQ ？ A全rch球Su架mm构it 师峰会 InfoQ 硬件设备 算力更强使用更易功能更广价格更低速度更快 ArchSummitInfoQ 算法 个性化多模态平台互通快速响应端云结合 ArchSummitInfoQ 社交场景 文字 视频 设备活动 语聊 手表游戏真实连接虚拟 手机真实与虚拟 VR真人+虚拟人共存✁ 体感投影社交生态平台 虚拟空间 染 ARNLP CV 推荐 语音 技术能力 Reference: [1]film《Alita:BattleAngel ArchSummitInfoQ THANKS A全rch球Sum架mi构t师峰 InfoQ