STEFANN: Scene Text Editor using Font Adaptive Neural Network

要約

キャプチャされたシーンのテキスト情報は、シーンの解釈と意思決定において重要な役割を果たします。
シーンに存在する複雑なテキスト領域を正常に検出して解釈できる方法は存在しますが、私たちの知る限り、画像内のテキスト情報を変更することを目的とした重要な先行研究はありません。
画像上でテキストを直接編集できる機能には、エラー修正、テキストの復元、画像の再利用など、いくつかの利点があります。
この論文では、文字レベルで画像内のテキストを修正する方法を提案します。
この問題には 2 段階でアプローチします。
まず、観測された文字（ソース）が変更されて、観測されていない文字（ターゲット）が生成されます。
2 つの異なるニューラル ネットワーク アーキテクチャを提案します。(a) ソース フォントとの構造的一貫性を実現する FANnet と、(b) ソース カラーを保持する Colornet です。
次に、隣接する文字との幾何学的および視覚的な一貫性を維持しながら、ソース文字を生成された文字に置き換えます。
私たちの方法は、画像内のテキストを変更するための統一されたプラットフォームとして機能します。
COCO-Text および ICDAR データセットに対する手法の有効性を定性的および定量的に示します。

要約(オリジナル)

Textual information in a captured scene plays an important role in scene interpretation and decision making. Though there exist methods that can successfully detect and interpret complex text regions present in a scene, to the best of our knowledge, there is no significant prior work that aims to modify the textual information in an image. The ability to edit text directly on images has several advantages including error correction, text restoration and image reusability. In this paper, we propose a method to modify text in an image at character-level. We approach the problem in two stages. At first, the unobserved character (target) is generated from an observed character (source) being modified. We propose two different neural network architectures – (a) FANnet to achieve structural consistency with source font and (b) Colornet to preserve source color. Next, we replace the source character with the generated character maintaining both geometric and visual consistency with neighboring characters. Our method works as a unified platform for modifying text in images. We present the effectiveness of our method on COCO-Text and ICDAR datasets both qualitatively and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google