要約
既存の画像補間アルゴリズムの多くは、単一視点画像に基づいており、大きな穴や複雑なシーンを含む穴に苦労している。参照誘導型アルゴリズムの中には、別の視点画像を参照することで穴を埋め、2次元画像の位置合わせを用いるものがある。カメラの撮像処理の関係上、単純な2次元変換では満足のいく結果を得ることは難しい。本論文では、参照誘導型画像塗りつぶしのためのシンプルで効率的な手法である3DFillを提案する。任意の穴領域を持つ対象画像と、別の視点からの参照画像が与えられたとき、3DFillはまず2段階の方法によって2つの画像の位置合わせを行う。3DDFillは、まず、3D投影＋2D変換の2段階の手法で2枚の画像を位置合わせします。3D投影は画像間の全体的な位置合わせで、2D変換は穴領域に焦点を当てた局所的な位置合わせです。画像の位置合わせの全過程は自己教師付きである。そして、対象画像の穴をアライメントされた画像の内容で埋める。最後に、条件生成ネットワークを用いて、塗りつぶした画像を精緻化し、塗り潰し結果を得る。3DFillは、様々なワイドビューシフトにおける画像インペインティングで最先端の性能を達成し、他のインペインティングモデルよりも高速な推論速度を持つ。
要約(オリジナル)
Most existing image inpainting algorithms are based on a single view, struggling with large holes or the holes containing complicated scenes. Some reference-guided algorithms fill the hole by referring to another viewpoint image and use 2D image alignment. Due to the camera imaging process, simple 2D transformation is difficult to achieve a satisfactory result. In this paper, we propose 3DFill, a simple and efficient method for reference-guided image inpainting. Given a target image with arbitrary hole regions and a reference image from another viewpoint, the 3DFill first aligns the two images by a two-stage method: 3D projection + 2D transformation, which has better results than 2D image alignment. The 3D projection is an overall alignment between images and the 2D transformation is a local alignment focused on the hole region. The entire process of image alignment is self-supervised. We then fill the hole in the target image with the contents of the aligned image. Finally, we use a conditional generation network to refine the filled image to obtain the inpainting result. 3DFill achieves state-of-the-art performance on image inpainting across a variety of wide view shifts and has a faster inference speed than other inpainting models.
arxiv情報
| 著者 | Liang Zhao,Xinyuan Zhao,Hailong Ma,Xinyu Zhang,Long Zeng |
| 発行日 | 2022-11-09 12:09:03+00:00 |
| arxivサイト | arxiv_id(pdf) |