PSSTRNet: Progressive Segmentation-guided Scene Text Removal Network

要約

シーン テキストの削除 (STR) は、シーン イメージ内のテキストのフォント、色、サイズ、背景テクスチャが複雑なため、困難な作業です。
ただし、これまでのほとんどの方法は、テキストの位置と背景の修復の両方を単一のネットワーク内で暗黙的に学習するため、テキストのローカライゼーション メカニズムが弱くなり、背景が損失します。
これらの問題に取り組むために、画像内のテキストを反復的に削除する、単純なプログレッシブ セグメンテーションに基づくシーン テキスト削除ネットワーク (PSSTRNet) を提案します。
これには、共有エンコーダーを備えた 2 つのデコーダー ブランチ (テキスト セグメンテーション ブランチ、およびテキスト削除ブランチ) が含まれています。
テキスト セグメンテーション ブランチは、地域削除ブランチのガイダンスとしてテキスト マスク マップを生成します。
各反復では、元の画像、以前のテキスト除去結果、およびテキスト マスクがネットワークに入力され、テキスト セグメントの残りの部分とよりクリーンなテキスト除去結果が抽出されます。
より正確なテキスト マスク マップを取得するために、現在の段階と前の段階でマスク マップをマージする更新モジュールが開発されています。
最終的なテキスト除去結果は、以前のすべての段階からの結果を適応的に融合することによって得られます。
実際の公開データセットと合成公開データセットに対して行われた十分な数の実験とアブレーション研究により、私たちの提案した方法が最先端のパフォーマンスを達成できることが実証されています。
私たちの成果のソース コードは、\href{https://github.com/GuangtaoLyu/PSSTRNet}{https://github.com/GuangtaoLyu/PSSTRNet} で入手できます。

要約(オリジナル)

Scene text removal (STR) is a challenging task due to the complex text fonts, colors, sizes, and background textures in scene images. However, most previous methods learn both text location and background inpainting implicitly within a single network, which weakens the text localization mechanism and makes a lossy background. To tackle these problems, we propose a simple Progressive Segmentation-guided Scene Text Removal Network(PSSTRNet) to remove the text in the image iteratively. It contains two decoder branches, a text segmentation branch, and a text removal branch, with a shared encoder. The text segmentation branch generates text mask maps as the guidance for the regional removal branch. In each iteration, the original image, previous text removal result, and text mask are input to the network to extract the rest part of the text segments and cleaner text removal result. To get a more accurate text mask map, an update module is developed to merge the mask map in the current and previous stages. The final text removal result is obtained by adaptive fusion of results from all previous stages. A sufficient number of experiments and ablation studies conducted on the real and synthetic public datasets demonstrate our proposed method achieves state-of-the-art performance. The source code of our work is available at: \href{https://github.com/GuangtaoLyu/PSSTRNet}{https://github.com/GuangtaoLyu/PSSTRNet.}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google