Arbitrary Reading Order Scene Text Spotter with Local Semantics Guidance

要約

シーンテキストスポッティングは、近年、関連研究者の熱意を集めています。
既存のシーン テキスト スポッターのほとんどは、検出してから認識するというパラダイムに従っています。このパラダイムでは、バニラ検出モジュールが読み取り順序をほとんど決定せず、認識の失敗につながります。
自動回帰シーンテキスト認識方法を再考した結果、十分に訓練された認識装置は、文字レベルの検出モジュールを使用せずに、完全な単語または文内のすべての文字のローカルセマンティクスを暗黙的に認識できることがわかりました。
ローカル意味論的知識には、テキスト コンテンツだけでなく、正しい読み順での空間情報も含まれます。
上記の分析を動機として、ローカル セマンティクスによってガイドされた文字の位置とコンテンツを自己回帰的にデコードするローカル セマンティクス ガイド付きシーン テキスト スポッター (LSGSpotter) を提案します。
具体的には、LSGSpotter では 2 つの効果的なモジュールが提案されています。
一方では、テキストの開始点を特定して正しい読み上げ順序を決定するための開始点ローカリゼーション モジュール (SPLM) を設計します。
一方、ローカルエリア内のテキスト特徴を適応的に集約するマルチスケール適応アテンションモジュール（MAAM）が提案されている。
結論として、LSGSpotter は、グリッド サンプリング戦略により計算リソースのコストを軽減しながら、高度な検出の制限なしで任意の読み取り順序スポッティング タスクを実現します。
広範な実験結果により、LSGSpotter が InverseText ベンチマークで最先端のパフォーマンスを達成していることが示されています。
さらに、当社のスポッターは、任意の形状のテキストの英語ベンチマークで優れたパフォーマンスを示し、Total-Text と SCUT-CTW1500 でそれぞれ 0.7\% と 2.5\% の改善を達成しました。
これらの結果は、テキスト スポッターが任意の読み上げ順序と形状のシーン テキストに対して効果的であることを検証します。

要約(オリジナル)

Scene text spotting has attracted the enthusiasm of relative researchers in recent years. Most existing scene text spotters follow the detection-then-recognition paradigm, where the vanilla detection module hardly determines the reading order and leads to failure recognition. After rethinking the auto-regressive scene text recognition method, we find that a well-trained recognizer can implicitly perceive the local semantics of all characters in a complete word or a sentence without a character-level detection module. Local semantic knowledge not only includes text content but also spatial information in the right reading order. Motivated by the above analysis, we propose the Local Semantics Guided scene text Spotter (LSGSpotter), which auto-regressively decodes the position and content of characters guided by the local semantics. Specifically, two effective modules are proposed in LSGSpotter. On the one hand, we design a Start Point Localization Module (SPLM) for locating text start points to determine the right reading order. On the other hand, a Multi-scale Adaptive Attention Module (MAAM) is proposed to adaptively aggregate text features in a local area. In conclusion, LSGSpotter achieves the arbitrary reading order spotting task without the limitation of sophisticated detection, while alleviating the cost of computational resources with the grid sampling strategy. Extensive experiment results show LSGSpotter achieves state-of-the-art performance on the InverseText benchmark. Moreover, our spotter demonstrates superior performance on English benchmarks for arbitrary-shaped text, achieving improvements of 0.7\% and 2.5\% on Total-Text and SCUT-CTW1500, respectively. These results validate our text spotter is effective for scene texts in arbitrary reading order and shape.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google