Image Completion via Dual-path Cooperative Filtering

要約

タイトル：デュアルパス協同フィルタリングを用いた画像補完

要約：
– 画像生成アルゴリズムの進歩により、深層学習を用いた画像補完手法は大きな進歩を示している
– しかし、現状の手法は、異なるシーンでの汎用性が低く、マスクされた領域はブレなどの不自然さが残る
– 本論文では、予測フィルタリングを用いて画像補完を行う手法を提案する
– この手法では、深層学習を用いた文脈的なフィルタリングにより、欠落した情報を補完し、ローカルな構造を保持する
– 特に、デュアルパス協同フィルタリング(DCF)モデルを提案する。1つのパスは動的なカーネルを予測し、もう1つのパスはFast Fourier Convolution を使い、意味的に繋がった再構成のためのマルチレベルフィーチャーを抽出する
– 3つの難解な画像補完データセットにおいて、DCFが現状の手法を上回る性能を示すことが明らかとなった

要約(オリジナル)

Given the recent advances with image-generating algorithms, deep image completion methods have made significant progress. However, state-of-art methods typically provide poor cross-scene generalization, and generated masked areas often contain blurry artifacts. Predictive filtering is a method for restoring images, which predicts the most effective kernels based on the input scene. Motivated by this approach, we address image completion as a filtering problem. Deep feature-level semantic filtering is introduced to fill in missing information, while preserving local structure and generating visually realistic content. In particular, a Dual-path Cooperative Filtering (DCF) model is proposed, where one path predicts dynamic kernels, and the other path extracts multi-level features by using Fast Fourier Convolution to yield semantically coherent reconstructions. Experiments on three challenging image completion datasets show that our proposed DCF outperforms state-of-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI