GRIG: Few-Shot Generative Residual Image Inpainting

要約

タイトル：GRIG: Few-Shot Generative Residual Image Inpainting
要約：
– 画像インペインティング（不足しているかマスクされた領域に意味のある内容を補完するタスク）において、大規模な不足領域の扱いにおける改善が見られているが、十分な結果を得るには大量のトレーニングデータが必要とされる。
– このトレーニングデータ数を少なくすることを目的として、従来の手法と異なりCNNの機能抽出とTransformerのグローバル推論を含むGAN内で反復的な残差推論法を提案するFew-Shot Generative Residual Image Inpaintingを開発。
– 新しい鮮やかなフォージドパッチの敵対的鍛錬戦略を提案して、忠実な質感と詳細な外観を生成。
– 量的にも質的にも、従来の方法よりも優れたインペインティング結果が得られると評価。

要約(オリジナル)

Image inpainting is the task of filling in missing or masked region of an image with semantically meaningful contents. Recent methods have shown significant improvement in dealing with large-scale missing regions. However, these methods usually require large training datasets to achieve satisfactory results and there has been limited research into training these models on a small number of samples. To address this, we present a novel few-shot generative residual image inpainting method that produces high-quality inpainting results. The core idea is to propose an iterative residual reasoning method that incorporates Convolutional Neural Networks (CNNs) for feature extraction and Transformers for global reasoning within generative adversarial networks, along with image-level and patch-level discriminators. We also propose a novel forgery-patch adversarial training strategy to create faithful textures and detailed appearances. Extensive evaluations show that our method outperforms previous methods on the few-shot image inpainting task, both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI