CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model

要約

事前トレーニング済みビジョン言語モデル (VLM) は、さまざまな下流タスクの事実上の基礎モデルです。
ただし、VLM が強力なシーン テキスト リーダーとして機能する可能性があるにもかかわらず、シーン テキスト認識方法では、依然として単一のモダリティ、つまり視覚モダリティで事前にトレーニングされたバックボーンが好まれます。
たとえば、CLIP は、画像内の規則的な (水平) テキストと不規則な (回転、湾曲、ぼやけた、または隠れた) テキストを確実に識別できます。
このようなメリットを活かして、CLIP をシーン テキスト リーダーに変換し、CLIP の画像エンコーダーとテキスト エンコーダーに基づいて構築されたシンプルで効果的な STR メソッドである CLIP4STR を導入します。
これには、ビジュアル ブランチとクロスモーダル ブランチの 2 つのエンコーダ/デコーダ ブランチがあります。
ビジュアル ブランチは、ビジュアル特徴に基づいた初期予測を提供し、クロスモーダル ブランチは、ビジュアル特徴とテキスト セマンティクス間の不一致に対処することでこの予測を改良します。
両方のブランチの機能を最大限に活用するために、推論用のデュアル予測とリファインのデコード スキームを設計します。
モデル サイズ、トレーニング前データ、トレーニング データの観点から CLIP4STR をスケーリングし、11 の STR ベンチマークで最先端のパフォーマンスを実現します。
さらに、CLIP の STR への適応についての理解を深めるために、包括的な実証研究が提供されます。
私たちは、私たちの方法が、VLM を使用した将来の STR 研究のためのシンプルかつ強力なベースラインを確立すると信じています。

要約(オリジナル)

Pre-trained vision-language models~(VLMs) are the de-facto foundation models for various downstream tasks. However, scene text recognition methods still prefer backbones pre-trained on a single modality, namely, the visual modality, despite the potential of VLMs to serve as powerful scene text readers. For example, CLIP can robustly identify regular (horizontal) and irregular (rotated, curved, blurred, or occluded) text in images. With such merits, we transform CLIP into a scene text reader and introduce CLIP4STR, a simple yet effective STR method built upon image and text encoders of CLIP. It has two encoder-decoder branches: a visual branch and a cross-modal branch. The visual branch provides an initial prediction based on the visual feature, and the cross-modal branch refines this prediction by addressing the discrepancy between the visual feature and text semantics. To fully leverage the capabilities of both branches, we design a dual predict-and-refine decoding scheme for inference. We scale CLIP4STR in terms of the model size, pre-training data, and training data, achieving state-of-the-art performance on 11 STR benchmarks. Additionally, a comprehensive empirical study is provided to enhance the understanding of the adaptation of CLIP to STR. We believe our method establishes a simple yet strong baseline for future STR research with VLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google