智能语音技术赋能文娱用户体验升级

2021网易数字+大会 智能语音技术 2021网易数字+大会 赋能文娱用户体验升级 周宇男 网易数帆人工智能产品经理 音视频效率工具 易智音频转写工具 易智字幕制作工具 创新体验 人机协作运营 自动歌词 语音交互 智能封面 内容生产管理 字幕制作 视频修复 视频生产 版权保护 内容分析理解 内容属性 信息抽取 质量分析 智能标签 场景解决方案 2021网易数字+大会 网易易智整体概况 智能语音 语言处理 智能视觉 智能抠图 水印识别 短文本相似度 文本生成 唱歌识别 音频指纹 OCR 人脸识别 意图识别 文本情绪 声纹识别 语种识别 特征提取 视频指纹 对话系统 文本纠错 语音合成 语音识别 AI原子能力 网易数字+大会 游戏 音乐 新闻 电商 视频/音频/图文/直播 文化社区 传媒 教育 2021网易数字+大会 网易集团文娱内容业务概览 网易数字+大会 内容业务链路 信息维度 视频 图像 音频 文字 2021网易数字+大会 内容生命周期 内容理解 内容生产 内容消费 内容分发 用户互动 内容行业业务流 策 策划主题 采 采集素材 编 编辑内容 存 数据存储 发 内容分发 统 数据统计 网易数字+大会 AI应用 标签分类 场景标签 情绪标签 图像标签 人物标签 智能识别 事件识别 字幕识别 场景识别 人物识别 质量分析 文章质检 直播质检 音频质检 视频质检 智能审核 视频审核 音频审核 图片审核 文本审核 内容管理系统 •安全质量特征建模理解加工 内容处理运营效率 审核标注内容管理内容分发 数据存储 数据调度内容库 数据数据汇集 2021网易数字+大会 分析多维分析 统一授权体系 账号体系监控反馈 AI引擎 智能语音智能文本智能视频智能图像 人工 AAII 异常监控举报反馈人工巡检 网易数字+大会 创造 智能性 易用性 稳定性 功能性 优质的内容 2021网易数字+大会 以内容为核心的用户体验 精确的推荐 新颖的玩法 网易数字+大会 实践案例分享 2021网易数字+大会 通用场景语音识别技术应用 易信 2021网易数字+大会 语音输入 以语音的方式输入文字内容，实时响应，可广泛应用于语音输入法场景 语音短消息 在社交和游戏场景中，将语音短消息快速转化为文字，方便不同场景下信息阅读 安全审核 支持海量语音文件转为文本，过滤敏感词、拦截词等违规内容，保证音频内容合法合规 语音客服 在客服场景中，提供语音短消息的文字转换功能，方便用户信息输入 客服质检 转写海量录音文件，全面质检客服人员的业务能力及服务态度 网易数字+大会 2021网易数字+大会 歌曲MV场景体验升级——歌词识别 短视频制作、MV制作、K歌音视频等场景 难点： 01 背景音乐干扰 02 发音方式不同：唱腔、戏腔、rap等 03 歌词的复杂性：不常用的词句、中英混搭等 网易数字+大会 2021网易数字+大会 听歌K歌场景体验升级——歌词生产 网易数字+大会 网易数字+大 2021网易数字+大会 音视频内容推荐体验升级—UGC内容分析 会 应用场景： 1UGC内容质量评估 2内容分类 3智能推荐 4智能检索 2021网易数字+大会 音视频内容推荐体验升级—UGC内容分析 歌曲语种识别 唱歌 歌词识别 语音识别 音频流 说话 UGC内容 关键词提取 音乐分类 纯音乐 伴奏匹配检索 相关文本 标题、简介、评论分析 音频分类 分类标签 视频流 网易数字+大会 直播推荐体验升级—直播内容分析 1内容相关度高 2描述与内容一致 3实时性高 2021网易数字+大会 优秀的推荐体验： 网易数字+大会 跳舞识别 乐器演奏识别放映厅识别 内容分类标签 主播翻唱 唱歌 播放原唱 说话 主播互动 观众互动音色分析 其他 直播挂机 主播活跃度伴奏分析 音频流 直播流 视频流 2021网易数字+大会 直播推荐体验升级—直播内容分析 网易数字+大会 内容安全保障优化—高危险词音频检测 多人同审、多轮审核、交叉审核 智能任务分配、盲审抽审、关联审核等 人工审核 高危险关键词音频检测技术： 2021网易数字+大会 配置“高危险词”列表，在音频环节进行过滤检测。 关键词库、忽略词库、智能规则库自定义规则库、黑白名单等 规则策略配置 文本图片音频视频文档网页直播音视频 用户资料/社区帖子/资讯/歌曲等 机器审核 网易数 字+大会 语音交互体验升级—自学习工具应用 用户自定义形象 品牌官方虚拟形象 网易伏羲 用户语音输入 2021网易数字+大会 语音识别 自然语言处理 文本回复内容语音回复内容表情、动作 前端模型动画渲染 网易数字+大会 语音交互体验升级—自学习工具技术应用 痛点 1.垂直领域，专业术语和固定说法难以覆盖 2021网易数字+大会 2.场景定制方案，维护成本高、难复制 自学习工具 1.支持用户利用自有数据快速定制模型 2.利用文本数据训练模型，实时更新生效 网易数字+大会 音频内容理解系统 原始音频 其它 唱歌 说话 音乐 2021网易数字+大会 音频分类 角色/语种/声音事件/音色/情绪/关键词 附属信息 谢谢欢迎大家来到直播间 我和你一样一样的坚强一样的全力以赴追逐我的梦想... 意图分类/关键词检索... 《和你一样》 音频内容文本分析 网易数字+大会 AI产品及解决方案介绍 2021网易数字+大会 内容运营平台 内容接入标签管理 内容分发 推荐策略 数据反馈 运营分析 2021网易数字+大会 多媒体内容理解解决方案 技术支持中台 统一鉴权应用配置管理服务发布管理服务监控数据中台 多媒体内容解决方案 语音识别 语种识别 文本分析 智能对话 机器翻译 视频指纹 语音合成 声纹识别 文本纠错 情绪分析 OCR识别 智能封面 内容社区场景 音乐场景 多语种场景 内容安全场景 图文内容理解 音视频内容理解 直播内容理解 多模态内容理解 网易数字+大会 效率工具产品-语音转写工具 1 2 3 2021网易数字+大会 录音文件自动转写、在线编辑多人会话场景，支持多角色区分 支持中英文混合识别，编辑更高效 4 用户上传内容数据，自适应模型结果优化 会议音频 访谈音频客服音频 影视音频 网易数字+大会 效率工具产品-字幕生成工具 1 2 3 2021网易数字+大会 语音字幕转写，在线编辑、压制导出支持中英文混合识别 歌曲演唱场景，准确识别歌词内容 4 用户上传内容数据，自适应模型结果优化 网易数字+大会 2021网易数字+大会 THANKS