第四届挑战赛A2-基于 MSER-CNN 的商品信息图片字符检测与识别

2016-10-18 数睿思淘金曹艳平

本研报针对电商平台中的商品信息图片，旨在实现文本信息的自动提取与挖掘，主要分为字符检测和字符识别两个过程。通过MSER算法提取候选字符区域，结合先验知识进行筛选，并利用CNN网络进行字符识别，最终输出每幅图片所包含的文本信息。

训练样本集包含1000张商品图片及其标注数据，测试样本集包含25张商品图片及其标注数据。数据集存在以下特征：

本研报采用多阶段流程进行文本信息提取：

预处理：去除错误的标注文件，保证图片和标注框的正确显示。
字符检测：
- 候选区域提取：基于MSER算法的多通道候选字符区域提取，包括R、G、B、I及梯度强度通道。
- 粗筛选：根据字符区域形状特征进行筛选，包括面积筛选、垂直投影和字符宽度筛选。
- 字符结构分割：根据字符行区域的连通性进行筛选，并利用形态学处理和垂直投影得到单个字符区域。
- 字符/背景区域分类：利用HOG特征和SVM分类器、LeNet卷积神经网络和Fast-RCNN进行字符/背景区域分类，并采用非极大值抑制策略进行筛选。
- 检测结果回归：根据标注样本对预测的候选区域进行回归，得到更加准确的字符区域。
字符识别：
- 预处理：对字符图像进行灰度化、“字亮底暗”的预处理，缩小样本空间。
- 网络训练：自主设计CNN模型，并尝试CNN+HOG、集成CNN、双网和迁移CNN等方法改进模型。
- 在线识别：将提取的字符区域输入识别模型，得到预测的字符标签。