Diving into the Depths of Spotting Text in Multi-Domain Noisy Scenes

要約

現実世界の騒がしい環境で使用する場合、複数のドメインに一般化する能力は、自律的なシーン テキスト スポッティング システムにとって不可欠です。
ただし、既存の最先端の方法では、自然シーンのデータセットに対する事前トレーニングと微調整戦略が採用されており、他の複雑なドメインにわたる特徴の相互作用を利用していません。
この研究では、ドメインに依存しないシーン テキスト スポッティングの問題、つまり、特定のドメインやシナリオに特化するのではなく、ターゲット ドメインに直接一般化できるように、マルチドメイン ソース データでモデルをトレーニングする問題を調査および調査します。
この点で、重要なケーススタディを確立するために、騒々しい水中シーン用の Under-Water Text (UWT) と呼ばれるテキスト スポッティング検証ベンチマークをコミュニティに提示します。
さらに、DA-TextSpotter と呼ばれる効率的な超解像度ベースのエンドツーエンド変換ベースラインも設計しています。これは、精度と精度の両方の点で、規則的および任意の形状のシーン テキスト スポッティング ベンチマークに対して、既存のテキスト スポッティング アーキテクチャと同等またはそれ以上のパフォーマンスを達成します。
モデルの効率。
データセット、コード、および事前トレーニングされたモデルは、承認され次第リリースされます。

要約(オリジナル)

When used in a real-world noisy environment, the capacity to generalize to multiple domains is essential for any autonomous scene text spotting system. However, existing state-of-the-art methods employ pretraining and fine-tuning strategies on natural scene datasets, which do not exploit the feature interaction across other complex domains. In this work, we explore and investigate the problem of domain-agnostic scene text spotting, i.e., training a model on multi-domain source data such that it can directly generalize to target domains rather than being specialized for a specific domain or scenario. In this regard, we present the community a text spotting validation benchmark called Under-Water Text (UWT) for noisy underwater scenes to establish an important case study. Moreover, we also design an efficient super-resolution based end-to-end transformer baseline called DA-TextSpotter which achieves comparable or superior performance over existing text spotting architectures for both regular and arbitrary-shaped scene text spotting benchmarks in terms of both accuracy and model efficiency. The dataset, code and pre-trained models will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google