Image Super-Resolution with Deep Dictionary

要約

ドンらの最初の成功以来、深層学習ベースのアプローチは、単一画像の超解像の分野で支配的になりました。
これにより、従来のスパースコーディングベースの方法のすべての手作りの画像処理ステップが、深いニューラルネットワークに置き換えられます。
高/低解像度の辞書を明示的に作成するスパースコーディングベースの方法とは対照的に、深層学習ベースの方法の辞書は、複数の畳み込みの非線形の組み合わせとして暗黙的に取得されます。
ディープラーニングベースの方法の欠点の1つは、トレーニングデータセットとは異なる方法で作成された画像（ドメイン外の画像）のパフォーマンスが低下することです。
深層学習の利点を犠牲にすることなく高解像度辞書を明示的に学習する、深層辞書（SRDD）を備えたエンドツーエンドの超解像ネットワークを提案します。
広範な実験により、高解像度辞書を明示的に学習することで、ドメイン内のテスト画像のパフォーマンスを維持しながら、ドメイン外のテスト画像に対してネットワークがより堅牢になることが示されています。

要約(オリジナル)

Since the first success of Dong et al., the deep-learning-based approach has become dominant in the field of single-image super-resolution. This replaces all the handcrafted image processing steps of traditional sparse-coding-based methods with a deep neural network. In contrast to sparse-coding-based methods, which explicitly create high/low-resolution dictionaries, the dictionaries in deep-learning-based methods are implicitly acquired as a nonlinear combination of multiple convolutions. One disadvantage of deep-learning-based methods is that their performance is degraded for images created differently from the training dataset (out-of-domain images). We propose an end-to-end super-resolution network with a deep dictionary (SRDD), where a high-resolution dictionary is explicitly learned without sacrificing the advantages of deep learning. Extensive experiments show that explicit learning of high-resolution dictionary makes the network more robust for out-of-domain test images while maintaining the performance of the in-domain test images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google