新闻内容质量评估的思考与实践

网易人工智能实践 新闻内容质量评估的思考与实践 网易传媒推荐产品中心赵屹华 目录 •新闻内容的来源渠道 •内容质量评估的必要性 网易人工智能实践 •评估维度的分析 •评估流程介绍 •内容质量算法实践 网易新闻APP截图 产品形式： •首页信息流推荐 •垂直频道 •本地频道 网易人工智能实践 •相关推荐 •内容聚合页面 •跟贴列表 内容形式： •文字新闻 •视频新闻 •个人动态 •跟贴 项目背景 通过NLP、CV等技术手段，协助平台来生产、管理和分发海量的资讯内容。 •提升用户体验：构建高质量的内容推荐池；为资讯推荐提供更多的特征，更好的个性化分发； 网易人工智能实践 •节约审核人力：在审核环节，自动定位可疑内容，让内容审核更加智能化、自动化。 整体收益 经过近些年持续迭代开发，新闻客户端的低质内容曝光占比持续下降，优质内容曝光量提升，释放若干个审核人员转入其它项目，用户负反馈数量稳步下降。 网易人工智能实践 •创作动机各不相同，发布的内容五花八门 •作者专业水平参差不齐，主题、题材难以规范 •抄袭内容多，原创内容少 俗色情、“标题党”、炮制谣言、黑公关、洗稿圈粉，以及刊发违法违规 广告、插入二维码或链接恶意诱导引流、恶意炒作营销等问题。 网易人工智能实践 1.效率尚存提升空间 •审核人员效率还未充分发挥，人机协作可进一步提高效率 •低质内容浪费流量，侵占优质内容的曝光机会 网易人工智能实践 2.按兴趣匹配推荐存在风险 •兴趣匹配的文章也分三六九等，需优先推荐高质量内容 •权威信息公告的阅读与兴趣关联不高 •人性的弱点（被低俗内容吸引） 3.损害平台内容生态 •低俗、标题党、谣言等损害品牌声誉，拉低平台品味 网易人工智能实践 •不同栏目的内容评估标准不一样 网易人工智能实践 •不同类型的内容评估标准不一样 •不同用户群体的评估标准不一样 优质的内容各有各的亮点，低质的内容绝对低质。 网易人工智能实践 量化评估指标 内容质量评估的全流程 人工/机器审核 内容分发 分发效果统计 内容复审 跟贴内容分析 跟贴复审 网易人工智能实践 入池内容 •人工+机器：人机结合，取长补短 •静态+动态：分发前预估，分发后修正 •文本+跟贴：以内容本身为主，以用户反馈信息为辅 目标： •低质内容曝光打压，优质内容曝光占比提升 •整体推荐效果稳中有进 •传统统计方法 网易人工智能实践 •文本/视觉算法 •人工规则指导和测评 网易人工智能实践 举几个具体的小例子 举例一：时效性评估 目标：服务根据文章内容判断是否短效、长效，并设置文章过期时间。 网易人工智能实践 一些idea 时效性与类别相关多种融入类别信息的尝试 时效性与热点相关 召回标题带热词的短时效文章 标注偶尔不准确 数据集不平衡 标签平滑增加鲁棒性 EasyEnsemble采样 迭代优化思路： 1.数据集质量 2.预训练模型（BERT） 3.规则改善，过滤噪音 网易人工智能实践 4.融合类别特征 解决方案： 1.置信学习，通过交叉验证找出训练集中置信度有问题的样本 2.类别向量化，拼接文本向量 3.总结badcase，增加超短效召 模型网络结构 回关键句。 对比线上模型，精度和召回率有明显改善。 举例二：负向跟贴召回 目标：通过分析文章下的用户跟贴信息判断文章是否低质，将低质内容下撤或复审。 网易人工智能实践 负向跟贴：•提出文章已过时/有错别字/谣言 •直接辱骂编辑或作者 •辱骂、攻击文章中提到的人或事件（较难处理） 流程设计： 文章发布 获取文章跟贴 跟贴内容分析 负向跟贴识别 跟贴、账号等综合判断 下撤/复审 解决方案： 1.跟贴评论的语言规范性差，使用数据增强方式提高泛化性。 网易人工智能实践 2.某些敏感词（小编，狗鞭等）具有很强的负面先验信息，增加标志位显示标记。 3.biLSTM可以更好的融合序列信息。 负面跟贴识别可使得每天自动下撤几百篇内容，有更多的内容送入复审。 三点心得 •内容质量评估的维度设计要完整、科学、有操作性 •高质量的数据带来高水平的效果，模型可以锦上添花 网易人工智能实践 •依靠用户，服务用户，用户往往比算法可靠 三点建议 •及时跟进和尝试新技术、新方法 •内容千变万化，算法需定期评估效果和更新 •人机结合实现效率最大化 网易人工智能实践 谢谢收听！