TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models

要約

テキスト認識は、ドキュメントのデジタル化に関する長年の研究課題です。
既存のアプローチは通常、画像理解用の CNN と文字レベルのテキスト生成用の RNN に基づいて構築されています。
さらに、後処理ステップとして全体的な精度を向上させるために、通常は別の言語モデルが必要です。
このホワイト ペーパーでは、事前にトレーニングされた画像 Transformer モデルとテキスト Transformer モデル、つまり TrOCR を使用したエンド ツー エンドのテキスト認識アプローチを提案します。これは、画像理解とワードピース レベルのテキスト生成の両方に Transformer アーキテクチャを活用します。
TrOCR モデルはシンプルですが効果的であり、大規模な合成データを使用して事前にトレーニングし、人間がラベル付けしたデータセットを使用して微調整することができます。
実験によると、TrOCR モデルは、印刷物、手書き、シーンのテキスト認識タスクで現在の最先端モデルよりも優れていることが示されています。
TrOCR モデルとコードは、\url{https://aka.ms/trocr} で公開されています。

要約(オリジナル)

Text recognition is a long-standing research problem for document digitalization. Existing approaches are usually built based on CNN for image understanding and RNN for char-level text generation. In addition, another language model is usually needed to improve the overall accuracy as a post-processing step. In this paper, we propose an end-to-end text recognition approach with pre-trained image Transformer and text Transformer models, namely TrOCR, which leverages the Transformer architecture for both image understanding and wordpiece-level text generation. The TrOCR model is simple but effective, and can be pre-trained with large-scale synthetic data and fine-tuned with human-labeled datasets. Experiments show that the TrOCR model outperforms the current state-of-the-art models on the printed, handwritten and scene text recognition tasks. The TrOCR models and code are publicly available at \url{https://aka.ms/trocr}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google