RCRN: Real-world Character Image Restoration Network via Skeleton Extraction

要約

実世界の画像は画像の劣化の影響を受けることが多いため、高品質の文字画像データセットを構築することは困難です。
このような実世界のキャラクター画像に現在の画像復元方法を適用する場合、制限があります。これは、（i）キャラクター画像のノイズのカテゴリが一般的な画像のノイズのカテゴリと異なるためです。
（ii）実世界のキャラクター画像には通常、より複雑な画像劣化が含まれています。たとえば、さまざまなノイズレベルでの混合ノイズなどです。
これらの問題に対処するために、文字スケルトン情報とスケールアンサンブル特徴抽出を利用して復元パフォーマンスを向上させる、劣化した文字画像を効果的に復元する実世界の文字復元ネットワーク（RCRN）を提案します。
提案手法は、スケルトンエクストラクタ（SENet）と文字画像復元器（CiRNet）で構成されています。
SENetは、キャラクターの構造的な一貫性を維持し、複雑なノイズを正規化することを目的としています。
次に、CiRNetは、劣化したキャラクター画像とそのスケルトンからクリーンな画像を再構築します。
実世界の文字画像復元のベンチマークが不足しているため、提案された方法の有効性を評価するために、実世界の劣化を伴う1,606の文字画像を含むデータセットを構築しました。
実験結果は、RCRNが最先端の方法よりも定量的および定性的に優れていることを示しています。

要約(オリジナル)

Constructing high-quality character image datasets is challenging because real-world images are often affected by image degradation. There are limitations when applying current image restoration methods to such real-world character images, since (i) the categories of noise in character images are different from those in general images; (ii) real-world character images usually contain more complex image degradation, e.g., mixed noise at different noise levels. To address these problems, we propose a real-world character restoration network (RCRN) to effectively restore degraded character images, where character skeleton information and scale-ensemble feature extraction are utilized to obtain better restoration performance. The proposed method consists of a skeleton extractor (SENet) and a character image restorer (CiRNet). SENet aims to preserve the structural consistency of the character and normalize complex noise. Then, CiRNet reconstructs clean images from degraded character images and their skeletons. Due to the lack of benchmarks for real-world character image restoration, we constructed a dataset containing 1,606 character images with real-world degradation to evaluate the validity of the proposed method. The experimental results demonstrate that RCRN outperforms state-of-the-art methods quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google