常扬-文档解析技术加速大模型训练与应用

TextIn文档解析技术加速大模型训练与应用

当前大模型训练与应用中的挑战

• 大模型训练挑战：训练Token耗尽，训练语料质量要求高，高质量预训练数据跟不上模型进化。
• 大模型应用挑战：LLM驱动的RAG技术中，文档解析不精准，影响最终输出质量。
• 核心诉求：需要多版式、高精度、高性能的文档解析技术，以获取更多、更高质量的训练语料，并提高RAG技术的应用效果。

文档解析技术发展与研究内容

• 文档类型：分为有标记文档（如Word、HTML、MarkDown）和无标记文档（如PDF、扫描件）。
• PDF文件：非结构化格式，将文本组织成段落、单元格、表格，但缺乏结构信息，解析难度大。
• MarkDown文件：关注内容而非打印格式，可表示多种文档元素，易于大模型理解。
• 文档解析典型技术难点：元素遮盖、重叠、复杂版式（双栏、三栏、文表混合）、插入表格等。
• 文档解析研究发展历程：从纯光学技术到字符识别，再到复杂结构文档分析与识别，如今进入深度学习和大模型主导阶段。
• 文档解析研究的技术问题：图像处理、版面分析、内容识别，包括文档预分类、图像增强、区域分割、文本定位、表格分析、逻辑版面分析等。
• 文档解析技术成果应用中存在的问题：基于规则的开源库无法解决所有问题，基于深度学习/大模型的开源库存在扫描件不支持、版式文档多页可用性低、阅读顺序无法还原、解析精度较低、速度慢等问题。

TextIn文档解析技术算法框架

• TextIn文档解析技术：电子档、扫描件文字识别，物理版面分析，逻辑版面分析，解析更稳、识别更准、性能更快。
• 算法框架：采用Pipeline架构，包括版面分析、文字检测、表格识别、公式识别等模块。
• 版面分析算法：分为物理版面分析和逻辑版面分析，物理版面分析侧重视觉特征，逻辑版面分析侧重语义特征。
• 文字检测算法：多方向文字检测、多语言文字识别、其他辅助类模型。
• 表格识别算法：表格类型判断、单元格角点模型、表格线段模型、单元格检测模型、后处理逻辑。
• 公式识别算法：基于树模型，分支并行解码。
• TextIn开源文档解析测试基准及工具：提供测试基准及工具，方便开发者评估文档解析效果。

基于文档解析技术的大模型应用探索

• 开放域多模态信息抽取：从资讯文本/多文档中抽取出关键信息，支持字段抽取、列表抽取、元素抽取三种模式。
• 分析师问答产品：提高机构分析师信息检索效率，通过自然语言问答精准检索知识库中相关内容，支持关键内容总结提炼、多文档问答等功能。
• RAG技术架构：TextIn文档解析、Elastic Search、关键信息抽取、问题改写、文件定位、表格召回、标题召回、目录树节点召回、关键词&新问题、Prompt+召回内容、LLM、问题答案重排、后答案来源、关键词匹配、系统稀疏检索、系统稠密检索、模型重排、打分段落、倒数排序、层级命中率、粗召、精排。

总结与展望

• 合合TextIn智能文档处理平台矩阵：提供平台基建、基座产品、综合产品、文档类应用等多种产品和服务。
• TextIn文档解析核心特性：更多版式，更高精度，更高性能，更多格式。
• TextIn文档解析技术：加速大模型训练与应用，解决当前大模型训练与应用中的挑战，推动文档解析技术发展。