要約
3D ガウス スプラッティング (3D-GS) の最近の進歩により、新しいビュー合成に革命が起こり、リアルタイムの高品質画像レンダリングが容易になりました。
ただし、反射面、特にミラーを含むシナリオでは、3D-GS が反射を仮想空間として誤って解釈することが多く、その結果、ミラー内のマルチビュー レンダリングがぼやけて一貫性のない結果になります。
私たちの論文では、反射を物理ベースの仮想カメラとしてモデル化することで、高品質のマルチビューの一貫した反射レンダリングを取得することを目的とした新しい方法を紹介します。
3D-GS から深さと法線推定値を使用してミラー面を推定し、ミラー面に対して対称に配置される仮想カメラを定義します。
これらの仮想カメラは、シーン内の鏡の反射を説明するために使用されます。
鏡面推定の不完全性に対処するために、反射品質を向上させるための単純かつ効果的な仮想カメラ最適化方法を提案します。
より多様な評価を行うために、3 つの現実世界のシナリオを含む新しいミラー データセットを収集します。
Mirror-Nerf と現実世界のデータセットの両方での実験による検証により、私たちのアプローチの有効性が実証されました。
以前の最先端技術と比較してトレーニング時間を大幅に短縮しながら、同等またはそれ以上の結果を達成します。
要約(オリジナル)
Recent advancements in 3D Gaussian Splatting (3D-GS) have revolutionized novel view synthesis, facilitating real-time, high-quality image rendering. However, in scenarios involving reflective surfaces, particularly mirrors, 3D-GS often misinterprets reflections as virtual spaces, resulting in blurred and inconsistent multi-view rendering within mirrors. Our paper presents a novel method aimed at obtaining high-quality multi-view consistent reflection rendering by modelling reflections as physically-based virtual cameras. We estimate mirror planes with depth and normal estimates from 3D-GS and define virtual cameras that are placed symmetrically about the mirror plane. These virtual cameras are then used to explain mirror reflections in the scene. To address imperfections in mirror plane estimates, we propose a straightforward yet effective virtual camera optimization method to enhance reflection quality. We collect a new mirror dataset including three real-world scenarios for more diverse evaluation. Experimental validation on both Mirror-Nerf and our real-world dataset demonstrate the efficacy of our approach. We achieve comparable or superior results while significantly reducing training time compared to previous state-of-the-art.
arxiv情報
| 著者 | Zihan Wang,Shuzhe Wang,Matias Turkulainen,Junyuan Fang,Juho Kannala |
| 発行日 | 2024-10-02 14:53:24+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google