DAN: a Segmentation-free Document Attention Network for Handwritten Document Recognition

要約

制約のない手書きテキストの認識は、困難なコンピューター ビジョン タスクです。
これは伝統的に、行セグメンテーションとそれに続くテキスト行認識を組み合わせた 2 段階のアプローチによって処理されます。
初めて、手書き文書認識のタスクのためのエンドツーエンドのセグメンテーションのないアーキテクチャである Document Attention Network を提案します。
テキスト認識に加えて、モデルは XML のような方法で開始タグと終了タグを使用してテキスト部分にラベルを付けるようにトレーニングされています。
このモデルは、特徴抽出用の FCN エンコーダーと、反復的なトークンごとの予測プロセス用のトランスフォーマー デコーダー レイヤーのスタックで構成されています。
テキストドキュメント全体を入力として受け取り、文字と論理レイアウトトークンを順次出力します。
既存のセグメンテーション ベースのアプローチとは対照的に、モデルはセグメンテーション ラベルを使用せずにトレーニングされます。
READ 2016 データセットでは、ページ レベルとダブルページ レベルで、それぞれ 3.43% と 3.70% の CER で競争力のある結果を達成しています。
また、RIMES 2009 データセットの結果をページ レベルで提供し、CER の 4.54% に達しています。
https://github.com/FactoDeepLearning/DAN で、すべてのソース コードと事前トレーニング済みのモデルの重みを提供しています。

要約(オリジナル)

Unconstrained handwritten text recognition is a challenging computer vision task. It is traditionally handled by a two-step approach, combining line segmentation followed by text line recognition. For the first time, we propose an end-to-end segmentation-free architecture for the task of handwritten document recognition: the Document Attention Network. In addition to text recognition, the model is trained to label text parts using begin and end tags in an XML-like fashion. This model is made up of an FCN encoder for feature extraction and a stack of transformer decoder layers for a recurrent token-by-token prediction process. It takes whole text documents as input and sequentially outputs characters, as well as logical layout tokens. Contrary to the existing segmentation-based approaches, the model is trained without using any segmentation label. We achieve competitive results on the READ 2016 dataset at page level, as well as double-page level with a CER of 3.43% and 3.70%, respectively. We also provide results for the RIMES 2009 dataset at page level, reaching 4.54% of CER. We provide all source code and pre-trained model weights at https://github.com/FactoDeepLearning/DAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google