ReShader: View-Dependent Highlights for Single Image View-Synthesis

要約

近年、3Dシーン表現と画像インペインティング技術の急速な進歩により、単一画像からの新規ビュー合成が大きく進歩している。現在のアプローチは、幾何学的に一貫した新しいビューを合成することができる一方で、ビューに依存する効果を適切に扱えないことが多い。具体的には、合成された画像中のハイライトは通常、表面に接着しているように見え、新規ビューを非現実的なものにしている。この大きな問題に対処するために、我々は、新しいビューを合成するプロセスでは、新しいカメラに基づいてピクセルの陰影を変更し、適切な位置に移動させる必要があるという重要な観察を行う。そこで、ビュー合成プロセスを、画素の再シェーディングと再配置の2つの独立したタスクに分割することを提案する。リシェーディング処理では、単一画像を入力とし、そのシェーディングを新規カメラに基づいて調整する。このリシェーディングされた画像を既存のビュー合成手法の入力として使用し、ピクセルの再配置を行い、最終的な新規ビュー画像を生成する。我々は、ニューラルネットワークを用いてリシェーディングを行い、ネットワークを訓練するために、合成入力とリシェーディングされたペアの大規模なセットを生成することを提案する。我々のアプローチは、実世界の様々なシーンにおいて、現実的な動くハイライトを持つ、もっともらしい新規ビュー画像を生成することを実証する。

要約(オリジナル)

In recent years, novel view synthesis from a single image has seen significant progress thanks to the rapid advancements in 3D scene representation and image inpainting techniques. While the current approaches are able to synthesize geometrically consistent novel views, they often do not handle the view-dependent effects properly. Specifically, the highlights in their synthesized images usually appear to be glued to the surfaces, making the novel views unrealistic. To address this major problem, we make a key observation that the process of synthesizing novel views requires changing the shading of the pixels based on the novel camera, and moving them to appropriate locations. Therefore, we propose to split the view synthesis process into two independent tasks of pixel reshading and relocation. During the reshading process, we take the single image as the input and adjust its shading based on the novel camera. This reshaded image is then used as the input to an existing view synthesis method to relocate the pixels and produce the final novel view image. We propose to use a neural network to perform reshading and generate a large set of synthetic input-reshaded pairs to train our network. We demonstrate that our approach produces plausible novel view images with realistic moving highlights on a variety of real world scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL