扫描式SSD用于公式检测,代码已开源

 

SSD是大家常见的目标检测器,在类似COCO的日常生活类物体检测,或者人脸、行人检测上都有应用,不过是否可以用于文本领域的检测呢?

今天跟大家介绍一篇新出的论文 ScanSSD: Scanning Single Shot Detector for Mathematical Formulas in PDF Document Images,美国罗彻斯特理工学院提出一种扫描式SSD(ScanSSD),仅使用视觉特征,而不使用任何文本的版面信息,进行数学公式检测。

 

 

ScanSSD训练时文档图像大小为512 * 512,在给定600 dpi的文档页图像上,SSD检测器以多尺度滑动窗口的方式定位公式,然后把检测结果合并,得到最终的整个页面的公式。

常见的学术文献中数学公式示例:

 

可见,既有独占一行的公式(红色区域),也有嵌入进文本的公式(蓝色区域)

在实验中,作者使用了 TFD-ICDAR2019v2 数据集(构建于GTDB扫描数学文献库),ScanSSD可以高精度检测公式里的字符,在保持高召回率情况下可以达到0.926 f-score。

数据集统计数据:

 

ScanSSD用于公式检测的整体算法流程:

 

 

首先对文档图像划分滑动窗口,为提高检出率,滑动窗口之间是有重叠的。对每一块得到的图像区域进行独立的SSD公式检测,然后将检测的结果拼接起来,对拼接结果汇总(Pooling),得到最终的检测结果。

速度上,对于512 * 512大小的输入图像,GTX 1080 GPU上跑的结果是 ~27 FPS 

既然是公式检测,一个很明显的特征是公式往往横纵比较高,所以作者修改了原始的SSD中预设box的横纵比{1, 2, 3, 1/2, 1/3},可达到5、7、10。

如下图:

 

 

数据集中公式的横纵比统计:

 

 

考虑到检测包围框不一定准确,对于SSD检测结果进行了后处理,根据内部字符的连通性,外扩或者收缩包围框,如下图:

 

 

考虑到公式在文献中出现的不同情况,作者通过在有较大空白处拆分公式,在相邻文本行上合并公式,获得了很小的错误率。如下图 3 和 4 :

 

 

该文算法在作者收集的数据集上得到的检测结果:

 

 

实验结果显示,在 IOU≥0.75 时 f-score 达到 0.796,IOU≥0.5 时 f-score 达到 0.733。

作者又做了字符级数学符号检测结果的比较:

 

 

该文使用常见的SSD进行公式检测,还开源了代码,可以作为相关研究与开发人员的参考!

 

论文地址

https://arxiv.org/pdf/2003.08005.pdf

代码地址

https://github.com/MaliParag/ScanSSD

转载请注明:《扫描式SSD用于公式检测,代码已开源