Hear the Scene: Audio-Enhanced Text Spotting

要約

シーン テキスト スポッティングの最近の進歩は、正確な位置の注釈に大きく依存するエンドツーエンドの方法論に焦点を当てていますが、多くの場合、その取得にはコストと労力がかかります。
この研究では、テキストスポッティングモデルのトレーニングに書き起こしアノテーションのみを活用する革新的なアプローチを導入し、複雑なアノテーションプロセスへの依存を大幅に削減します。
私たちの方法論は、テキストクエリと画像埋め込みの間の相互作用を通じて暗黙的な位置特徴の学習を容易にするクエリベースのパラダイムを採用しています。
これらの特徴は、後でテキスト認識フェーズ中に注意活性化マップを使用して改良されます。
弱い教師付きモデルをゼロからトレーニングすることに伴う課題に対処し、循環カリキュラム学習戦略を実装してモデルの収束を強化します。
さらに、より正確なテキスト インスタンスのローカリゼーションのために、粗いから細かいまでのクロスアテンション ローカリゼーション メカニズムを導入します。
特に、当社のフレームワークは音声ベースの注釈をサポートしているため、注釈時間を大幅に短縮し、障害を持つ個人に包括的な代替手段を提供します。
私たちのアプローチは、既存のベンチマークに対して競争力のあるパフォーマンスを実現し、大規模な位置アノテーションなしでもテキストスポッティングの高精度を達成できることを実証しています。

要約(オリジナル)

Recent advancements in scene text spotting have focused on end-to-end methodologies that heavily rely on precise location annotations, which are often costly and labor-intensive to procure. In this study, we introduce an innovative approach that leverages only transcription annotations for training text spotting models, substantially reducing the dependency on elaborate annotation processes. Our methodology employs a query-based paradigm that facilitates the learning of implicit location features through the interaction between text queries and image embeddings. These features are later refined during the text recognition phase using an attention activation map. Addressing the challenges associated with training a weakly-supervised model from scratch, we implement a circular curriculum learning strategy to enhance model convergence. Additionally, we introduce a coarse-to-fine cross-attention localization mechanism for more accurate text instance localization. Notably, our framework supports audio-based annotation, which significantly diminishes annotation time and provides an inclusive alternative for individuals with disabilities. Our approach achieves competitive performance against existing benchmarks, demonstrating that high accuracy in text spotting can be attained without extensive location annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google