SPTS: Single-Point Text Spotting

要約

既存のシーン テキスト スポッティング (つまり、エンド ツー エンドのテキスト検出と認識) メソッドは、コストのかかる境界ボックスの注釈 (テキスト行、単語レベル、または文字レベルの境界ボックスなど) に依存しています。
初めて、インスタンスごとに単一ポイントの非常に低コストの注釈を使用して、トレーニング シーンのテキスト スポッティング モデルを実現できることを示しました。
シーケンス予測タスクとしてシーン テキスト スポッティングに取り組むエンド ツー エンドのシーン テキスト スポッティング方法を提案します。
入力として画像を指定すると、目的の検出と認識の結果を離散トークンのシーケンスとして定式化し、自己回帰トランスフォーマーを使用してシーケンスを予測します。
提案された方法はシンプルで効果的であり、広く使用されているベンチマークで最先端の結果を達成できます。
最も重要なことは、パフォーマンスがポイント アノテーションの位置にあまり影響を受けないことを示しています。つまり、正確な位置を必要とするバウンディング ボックスよりも、アノテーションを付けたり、自動生成したりする方がはるかに簡単です。
このような先駆的な試みは、以前よりもはるかに大規模なシーン テキスト スポッティング アプリケーションの重要な機会を示していると考えています。
コードは https://github.com/shannanyinxiang/SPTS で入手できます。

要約(オリジナル)

Existing scene text spotting (i.e., end-to-end text detection and recognition) methods rely on costly bounding box annotations (e.g., text-line, word-level, or character-level bounding boxes). For the first time, we demonstrate that training scene text spotting models can be achieved with an extremely low-cost annotation of a single-point for each instance. We propose an end-to-end scene text spotting method that tackles scene text spotting as a sequence prediction task. Given an image as input, we formulate the desired detection and recognition results as a sequence of discrete tokens and use an auto-regressive Transformer to predict the sequence. The proposed method is simple yet effective, which can achieve state-of-the-art results on widely used benchmarks. Most significantly, we show that the performance is not very sensitive to the positions of the point annotation, meaning that it can be much easier to be annotated or even be automatically generated than the bounding box that requires precise positions. We believe that such a pioneer attempt indicates a significant opportunity for scene text spotting applications of a much larger scale than previously possible. The code is available at https://github.com/shannanyinxiang/SPTS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google