Harnessing the Power of Multi-Lingual Datasets for Pre-training: Towards Enhancing Text Spotting Performance

要約

幅広いドメインへの適応機能は、現実世界の状況に展開されるシーン テキスト スポッティング モデルにとって非常に重要です。
ただし、既存の最先端 (SOTA) アプローチでは、通常、自然シーン テキスト データセットでの事前トレーニングだけでシーン テキストの検出と認識が組み込まれており、複数のドメイン間の中間特徴表現を直接利用していません。
ここでは、ドメイン適応型シーン テキスト スポッティングの問題、つまり、特定のドメインやシナリオに特化するのではなく、ターゲット ドメインに直接適応できるようにマルチドメイン ソース データ上でモデルをトレーニングする問題を調査します。
さらに、徹底的な評価とともに、規則的な形状と任意の形状のシーン テキストの両方に対するシーン テキスト スポッティングの解決に焦点を当てるために、Swin-TESTR と呼ばれるトランスフォーマー ベースラインを調査します。
この結果は、中間表現が複数のドメイン (言語、シンセから現実、ドキュメントなど) にわたるテキスト スポッティング ベンチマークで大幅なパフォーマンスを達成できる可能性を明確に示しています。
精度と効率の両方の点で。

要約(オリジナル)

The adaptation capability to a wide range of domains is crucial for scene text spotting models when deployed to real-world conditions. However, existing state-of-the-art (SOTA) approaches usually incorporate scene text detection and recognition simply by pretraining on natural scene text datasets, which do not directly exploit the intermediate feature representations between multiple domains. Here, we investigate the problem of domain-adaptive scene text spotting, i.e., training a model on multi-domain source data such that it can directly adapt to target domains rather than being specialized for a specific domain or scenario. Further, we investigate a transformer baseline called Swin-TESTR to focus on solving scene-text spotting for both regular and arbitrary-shaped scene text along with an exhaustive evaluation. The results clearly demonstrate the potential of intermediate representations to achieve significant performance on text spotting benchmarks across multiple domains (e.g. language, synth-to-real, and documents). both in terms of accuracy and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google