竞技世界-李慧-跨越感知界限的多模态数据分析与应用

跨越感知界限的多模态数据分析与应用 李慧 www.top100summit.com 讲师简介 请插入您的照片 主要研究领域涵盖：用户增长 因果推断数据预测 自然语言处理知识图谱 精细化运营分析计算传播分析 直播与短视频分析 www.top100summit.com 目录 一、浅谈多模态数据 二、多模态数据的分析与应用 三、能力复用与思考 www.top100summit.com Part1浅谈多模态数据 多模态数据——跨越感知界限的探索 •多模态数据的演变过程 1.单一模态数据阶段 数据主要以单一模态存在每种模态的数据都是独立的 2.跨模态合成阶段 将不同模态的数据进行组合和合成将文字与图片结合创建漫画或插图将音频与图像结合创建视频等 www.top100summit.com 3.多模态融合阶段 人工智能和机器学习技术的进步从不同模态的数据中提取并融合有用的信息 4.多模态数据时代 不同模态的数据可以无缝地集成和处理更深入的理解和利用数据 www.top100summit.com 多模态数据——跨越感知界限的探索 •多模态数据的定义 指包含多种感知模式（文本、图像、音频、视频等）的数据集合 在多模态数据中，不同感知模式之间存在交互和关联，提供了丰富的信息来源 1 影像 2 音频 3 字幕 视觉感知 故事情节、角色动作 听觉体验 对话、背景音乐等 文字信息 理解对话内容 多模态数据——跨越感知界限的探索 •多模态数据的研究意义 拓宽数据研究的边界 多模态数据的研究可以帮助克服单一模态数据的局限性，突破传统的边界，引入更复杂、多样的数据特征和信息 www.top100summit.com 提供更全面且准确的信息 通过同时利用文本、图像、声音等多种模态，可以获取更丰富的上下文信息，从而改善对数据的理解和处理，挖掘出更精准、有价值的信息 改善任务效果与性能 整合和融合不同感知模式的信息，可以提供更多的数据维度来支持机器 学习、计算机视觉、自然语言处理等任务，并提高其性能 www.top100summit.com Part2多模态数据的分析与应用 www.top100summit.com JJ斗地主 JJ麻将 曙光英雄 业务简介 www.top100summit.com 分析及应用1——关键词提取 去除特殊字符、补充专有名词 分词 基于规则、机器学习算法 英文nltk+中文jieba 同义词替换 停用词过滤 例如”的“，”了“等 词性标注 构建短语 词频统计 绘制词云图 文本数据预处理 提炼核心信息，直观展示文本数据的特征和重点 应用案例：评论及弹幕区关键词的词云展示 基于词性标注信息和规则来构建短语 举例：这个苹果很好吃 分词结果：["这个","苹果","很","好吃"] 词性标注结果：["代词","名词","副词","形容词"] 短语组合：将"苹果"和"很好吃"组合成短语"苹果很好吃" www.top100summit.com 分析及应用2——主题检测 帮助理解文本数据集中隐藏的结构和内容，发现和识别不同主题的存在 应用案例：抖音直播间内活跃用户的话题检测 文本数据预处理 TF-IDF向量化 分词 同义词替换 聚类 停用词过滤 可视化 相似度计算 词频-逆文档频率值高频词语低权重 稀有词语高权重 衡量重要性和区分度 分析及应用3——情感倾向分析 识别和理解信息中传递的情感倾向 应用案例：用户评论的语义情感评分 算法模型 词典匹配算法 机器学习算法：朴素贝叶斯、SVM、决策树等 深度学习算法：循环神经网络（RNN）、卷积神经网络（CNN）大模型 www.top100summit.com 文本数据预处理 利用同义词、反义词、程度副词权重等方式进行文本增强 特征提取 基于TF-IDF、词频、n-gram的文本特征提取方法，调整建模的输入 集成学习思想 将多个算法的输出进行综合，提高分类准确率 分析及应用4——巡场AI 精准识别辱骂或带节奏等具有明显情绪导向的用户群体，净化网络环境 应用案例：游戏内对局辱骂识别巡场AI 战斗服务器 ... 战斗服务器 ... 聊天数据 召回层 独立运行、独立优化 LLM识别层 www.top100summit.com 战斗服务器 对大量聊天数据请求进行过滤 尽可能多的覆盖辱骂语句尽可能少的LLM识别请求量 提高召回率 接收召回层发送的语句识别请求 识别聊天数据中的辱骂语句提高准确率 www.top100summit.com 分析及应用5——信息摘要生成 消除信息过载，降低文本的复杂性，快速了解信息中的核心内容 文本数据预处理 构建关联图 捕捉关键词上下文信息 语法分析 分词 计算 Tex tRank值 基于图模型的无监督算法 关键词串联 同义词替换 排序 停用词过滤 摘要关键词 选择具有高权重和重要性的词语 摘要生成 应用案例：热门短视频下用户评论内容的信息提取 分析及应用6——目标检测识别 在图像或视频中准确检测和识别目标物体，并获得这一目标的类别信息和位置 应用案例：拆解直播间内牌局视频 www.top100summit.com 牌局开始 start 牌局中 end 牌局结束 www.top100summit.com Part3能力复用与思考 能力复用与思考1 专家综合打分 挑精彩视频 牌局内容分析 观众评论挖掘 选手情绪识别 解说语音识别 www.top100summit.com •多炸牌局 •评论频率 •高兴、愤怒、悲 •主持解说情绪波动 •专业视角评判打分 •剧情反转•农民配合 •语义分析•情绪识别 伤、惊奇等 •情绪波动 •解说文本判断•… •1-5分制 •… •… •… 能力复用与思考2 风险判定 预警报送 舆情预警 预警策略制定 热点发现 消费者 洞察 传播效果分析 行业 分析 品牌口碑洞察 舆情感知 分析 舆情舆情竞品 监测分析 www.top100summit.com 舆情 跟踪危机 监测公关 大盘 事件 分析 大模型AI评论 机器人分析 微信官方公众号：壹佰案例 关注查看更多年度实践案例