要約
3D ガウス スプラッティングは、フォトリアリスティックでリアルタイムの新しいビュー合成における顕著な進歩を示しています。
ただし、視点が異なると外観に大きな変化が見られる鏡の反射をモデル化する際に課題に直面します。
この問題に取り組むために、3D ガウス スプラッティングに基づくリアルタイム レンダリングによるミラー シーンの再構築の最初の方法である MirrorGaussian を紹介します。
重要な洞察は、現実世界の空間と仮想のミラー空間の間のミラー対称性に基づいています。
現実世界の 3D ガウシアンと、前者をミラー面で反射することによって得られるミラーリングされた対応物の両方の微分可能なラスタライゼーションを可能にする直感的なデュアル レンダリング戦略を導入します。
すべての 3D ガウスは、エンドツーエンドのフレームワークでミラー面と共同して最適化されます。
MirrorGaussian は、ミラーのあるシーンで高品質かつリアルタイムのレンダリングを実現し、新しいミラーやオブジェクトの追加などのシーン編集を可能にします。
複数のデータセットに対する包括的な実験により、私たちのアプローチが既存の方法を大幅に上回り、最先端の結果が得られることが実証されました。
プロジェクトページ: https://mirror-gaussian.github.io/。
要約(オリジナル)
3D Gaussian Splatting showcases notable advancements in photo-realistic and real-time novel view synthesis. However, it faces challenges in modeling mirror reflections, which exhibit substantial appearance variations from different viewpoints. To tackle this problem, we present MirrorGaussian, the first method for mirror scene reconstruction with real-time rendering based on 3D Gaussian Splatting. The key insight is grounded on the mirror symmetry between the real-world space and the virtual mirror space. We introduce an intuitive dual-rendering strategy that enables differentiable rasterization of both the real-world 3D Gaussians and the mirrored counterpart obtained by reflecting the former about the mirror plane. All 3D Gaussians are jointly optimized with the mirror plane in an end-to-end framework. MirrorGaussian achieves high-quality and real-time rendering in scenes with mirrors, empowering scene editing like adding new mirrors and objects. Comprehensive experiments on multiple datasets demonstrate that our approach significantly outperforms existing methods, achieving state-of-the-art results. Project page: https://mirror-gaussian.github.io/.
arxiv情報
| 著者 | Jiayue Liu,Xiao Tang,Freeman Cheng,Roy Yang,Zhihao Li,Jianzhuang Liu,Yi Huang,Jiaqi Lin,Shiyong Liu,Xiaofei Wu,Songcen Xu,Chun Yuan |
| 発行日 | 2024-05-20 09:58:03+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google