3D-aware Blending with Generative NeRFs

要約

画像ブレンディングは、複数の画像をシームレスに結合することを目的としています。
既存の 2D ベースの方法では、特に 3D カメラのポーズやオブジェクトの形状の違いにより入力画像がずれている場合は、依然として困難です。
これらの問題に取り組むために、3D 認識アラインメントと 3D 認識ブレンディングという 2 つの主要コンポーネントを含む生成的ニューラル ラディアンス フィールド (NeRF) を使用した 3D 認識ブレンディング方法を提案します。
3D 認識アライメントの場合、まず生成 NeRF に関して参照画像のカメラ ポーズを推定し、次に各パーツの 3D ローカル アライメントを実行します。
ジェネレーティブ NeRF の 3D 情報をさらに活用するために、生のピクセル空間ではなく、NeRF の潜在表現空間で画像を直接ブレンドする 3D 認識ブレンディングを提案します。
全体として、FFHQ および AFHQ-Cat を使用した広範な定量的および定性的評価によって検証されるように、当社の方法は既存の 2D ベースラインよりも優れています。

要約(オリジナル)

Image blending aims to combine multiple images seamlessly. It remains challenging for existing 2D-based methods, especially when input images are misaligned due to differences in 3D camera poses and object shapes. To tackle these issues, we propose a 3D-aware blending method using generative Neural Radiance Fields (NeRF), including two key components: 3D-aware alignment and 3D-aware blending. For 3D-aware alignment, we first estimate the camera pose of the reference image with respect to generative NeRFs and then perform 3D local alignment for each part. To further leverage 3D information of the generative NeRF, we propose 3D-aware blending that directly blends images on the NeRF’s latent representation space, rather than raw pixel space. Collectively, our method outperforms existing 2D baselines, as validated by extensive quantitative and qualitative evaluations with FFHQ and AFHQ-Cat.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google