Zoom-to-Inpaint: Image Inpainting with High-Frequency Details

要約

ディープラーニングは画像の修復に大きな飛躍をもたらしましたが、現在の方法では現実的な高周波の詳細を合成できないことがよくあります。
この論文では、粗く再構成された出力に超解像を適用し、それらを高解像度で洗練してから、出力を元の解像度にダウンスケーリングすることを提案します。
高解像度画像をリファインメントネットワークに導入することにより、私たちのフレームワークは、スペクトルバイアス（ニューラルネットワークが高周波よりも低周波をより良く再構築する傾向）のために通常平滑化されるより細かい詳細を再構築することができます。
大規模なアップスケールホールでのリファインメントネットワークのトレーニングを支援するために、トレーニングが進むにつれて欠落領域のサイズが大きくなるプログレッシブ学習手法を提案します。
私たちのズームイン、リファイン、ズームアウト戦略は、高解像度の監視と進歩的な学習と組み合わされて、CNNベースの修復方法に適用できる高周波の詳細を強化するためのフレームワークにとらわれないアプローチを構成します。
私たちは、私たちのアプローチの有効性を示すために、アブレーション分析とともに定性的および定量的評価を提供します。
この一見シンプルでありながら強力なアプローチは、最先端の修復方法よりも優れています。
私たちのコードはhttps://github.com/google/zoom-to-inpaintで入手できます

要約(オリジナル)

Although deep learning has enabled a huge leap forward in image inpainting, current methods are often unable to synthesize realistic high-frequency details. In this paper, we propose applying super-resolution to coarsely reconstructed outputs, refining them at high resolution, and then downscaling the output to the original resolution. By introducing high-resolution images to the refinement network, our framework is able to reconstruct finer details that are usually smoothed out due to spectral bias – the tendency of neural networks to reconstruct low frequencies better than high frequencies. To assist training the refinement network on large upscaled holes, we propose a progressive learning technique in which the size of the missing regions increases as training progresses. Our zoom-in, refine and zoom-out strategy, combined with high-resolution supervision and progressive learning, constitutes a framework-agnostic approach for enhancing high-frequency details that can be applied to any CNN-based inpainting method. We provide qualitative and quantitative evaluations along with an ablation analysis to show the effectiveness of our approach. This seemingly simple, yet powerful approach, outperforms state-of-the-art inpainting methods. Our code is available in https://github.com/google/zoom-to-inpaint

arxiv情報

提供元, 利用サービス

arxiv.jp, Google