CourseAI 2024-12-19 09:01 湖北
本公众号主要关注NLP、CV、LLM、RAG、Agent等AI前言技术，免费分享业界实战案例与课程，助力您全面拥抱AIGC。
文本识别
关键信息提取
表格识别
Omniparser框架以及核心思想
作者采用基于文本中心点的连贯输入和输出模式，在两个阶段，将同一文本划分为三个部分：
在stage1阶段：
结构中心点序列化（Structured points）:即标记重要信息区域的中心位置，并打上标签
在stage2阶段：
多边形区域序列化（Polygon）：定位Structured points，得到文本的多边形区域
文本内容序列化（content）：定位Structured points，得到文本内容
通过两阶段、三种序列方式可以有效地压缩原始的长序列。
此外，该框架使用空间和字符导向的窗口提示，增强对文本空间排列和单词语义的理解。
通过上图表格解析任务，我们可以知道omniparser的OCR解析流程。
首先，对图片进行编码(image encoder)
然后，在stage1，利用视觉模型对表格、文本内容、重要信息进行中心点定位
接着，在stage2，将定位的区域，经过区域解码（region decoder），得到polygon Sequence
同时，在stage2, 将定位的重要信息，进行文本内容序列化解码（content decoder），得到文本内容content sequence
最后，综合polygon Sequence和content sequence二者的信息，生成文本的定位信息（text spotting）、表格的序列信息（table recognition）和重要信息（key information extraction）
https://arxiv.org/pdf/2403.19128
https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/OCR/OmniParser
推荐阅读
