General Detection-based Text Line Recognition

要約

ラテン文字、中国語文字、または暗号化文字を使用した印刷 (OCR) または手書き (HTR) のテキスト行認識に対する一般的な検出ベースのアプローチを導入します。
文字を個別に読み取るのはしばしば困難であり、文字レベルのアノテーションは難しく高価であるため、検出ベースのアプローチはこれまで HTR ではほとんど無視されてきました。
私たちは、次の 3 つの主な洞察のおかげでこれらの課題を克服しています。(i) 十分に多様なデータを使用した合成事前トレーニングにより、あらゆるスクリプトの合理的な文字ローカリゼーションを学習できます。
(ii) 最新のトランスベースの検出器は、多数のインスタンスを共同で検出でき、適切なマスキング戦略でトレーニングされていれば、異なる検出間の一貫性を利用できます。
(iii) おおよその文字位置特定を備えた事前トレーニング済みの検出モデルが利用可能になると、異なるアルファベットであっても実際のデータに行レベルの注釈を付けて微調整することが可能になります。
DTLR と呼ばれる私たちのアプローチは、自己回帰デコードに依存する最先端の HTR 手法とはまったく異なるパラダイムに基づいて構築されており、完全な行を並列に処理しながら文字値を 1 つずつ予測します。
驚くべきことに、通常は特殊なアプローチで取り組む幅広いスクリプトで優れたパフォーマンスを示しています。
特に、CASIA v2 データセットでの中国語文字認識と、Borg および Copiale データセットでの暗号認識の最先端のパフォーマンスを向上させます。
コードとモデルは https://github.com/raphael-baena/DTLR で入手できます。

要約(オリジナル)

We introduce a general detection-based approach to text line recognition, be it printed (OCR) or handwritten (HTR), with Latin, Chinese, or ciphered characters. Detection-based approaches have until now been largely discarded for HTR because reading characters separately is often challenging, and character-level annotation is difficult and expensive. We overcome these challenges thanks to three main insights: (i) synthetic pre-training with sufficiently diverse data enables learning reasonable character localization for any script; (ii) modern transformer-based detectors can jointly detect a large number of instances, and, if trained with an adequate masking strategy, leverage consistency between the different detections; (iii) once a pre-trained detection model with approximate character localization is available, it is possible to fine-tune it with line-level annotation on real data, even with a different alphabet. Our approach, dubbed DTLR, builds on a completely different paradigm than state-of-the-art HTR methods, which rely on autoregressive decoding, predicting character values one by one, while we treat a complete line in parallel. Remarkably, we demonstrate good performance on a large range of scripts, usually tackled with specialized approaches. In particular, we improve state-of-the-art performances for Chinese script recognition on the CASIA v2 dataset, and for cipher recognition on the Borg and Copiale datasets. Our code and models are available at https://github.com/raphael-baena/DTLR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google