ReShader: View-Dependent Highlights for Single Image View-Synthesis

要約

近年、3D シーン表現と画像修復技術の急速な進歩のおかげで、単一の画像からの新しいビューの合成が大幅に進歩しました。
現在のアプローチは、幾何学的に一貫した新しいビューを合成できますが、多くの場合、ビューに依存する効果を適切に処理できません。
具体的には、合成画像のハイライトは通常、表面に貼り付けられているように見え、新しいビューが非現実的になります。
この大きな問題に対処するために、新しいビューを合成するプロセスでは、新しいカメラに基づいてピクセルのシェーディングを変更し、それらを適切な位置に移動する必要があるという重要な観察を行います。
したがって、ビュー合成プロセスをピクセルの再シェーディングと再配置という 2 つの独立したタスクに分割することを提案します。
リシェーディング プロセス中に、単一の画像を入力として取得し、新しいカメラに基づいてそのシェーディングを調整します。
この再シェーディングされたイメージは、既存のビュー合成方法への入力として使用され、ピクセルが再配置され、最終的な新しいビュー イメージが生成されます。
ニューラル ネットワークを使用してリシェーディングを実行し、ネットワークをトレーニングするために大規模な合成入力とリシェーディングのペアを生成することを提案します。
私たちのアプローチが、現実世界のさまざまなシーンにリアルな動きのハイライトを備えた、もっともらしい新しいビュー画像を生成することを実証します。

要約(オリジナル)

In recent years, novel view synthesis from a single image has seen significant progress thanks to the rapid advancements in 3D scene representation and image inpainting techniques. While the current approaches are able to synthesize geometrically consistent novel views, they often do not handle the view-dependent effects properly. Specifically, the highlights in their synthesized images usually appear to be glued to the surfaces, making the novel views unrealistic. To address this major problem, we make a key observation that the process of synthesizing novel views requires changing the shading of the pixels based on the novel camera, and moving them to appropriate locations. Therefore, we propose to split the view synthesis process into two independent tasks of pixel reshading and relocation. During the reshading process, we take the single image as the input and adjust its shading based on the novel camera. This reshaded image is then used as the input to an existing view synthesis method to relocate the pixels and produce the final novel view image. We propose to use a neural network to perform reshading and generate a large set of synthetic input-reshaded pairs to train our network. We demonstrate that our approach produces plausible novel view images with realistic moving highlights on a variety of real world scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google