GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization

要約

この論文では、3D ガウス表現を使用してシーンをマテリアル プロパティ、光、およびジオメトリに効果的に因数分解する 3D ガウス逆レンダリング (GIR) 手法を紹介します。
主な貢献は 3 つあります。
外部監視なしで正確な法線推定を強制する方向性マスキング スキームを使用して、最短の固有ベクトルを使用して各 3D ガウスの法線を計算します。
効率的なボクセルベースの間接照明トレース スキームを採用し、各 3D ガウスに方向を意識した出射輝度を保存して、マルチバウンス光輸送を近似するために二次照明を解きほぐします。
照明のもつれの解消をさらに強化するために、学習可能な低解像度マップと軽量の完全畳み込みネットワークを使用して高解像度環境マップを表現します。
私たちの手法は、リアルタイムレンダリングを実現しながら、最近提案された逆レンダリング手法の中で、リライティングタスクと新規ビュー合成タスクの両方で最先端のパフォーマンスを達成します。
これは、私たちが提案した方法の有効性と幅広い適用性を実証し、マテリアル編集や再照明などのさまざまなリアルタイムインタラクティブグラフィックスアプリケーションにおける影響力のあるツールとしての可能性を強調しています。
コードは https://github.com/guduxiaolang/GIR で公開されます。

要約(オリジナル)

This paper presents a 3D Gaussian Inverse Rendering (GIR) method, employing 3D Gaussian representations to effectively factorize the scene into material properties, light, and geometry. The key contributions lie in three-fold. We compute the normal of each 3D Gaussian using the shortest eigenvector, with a directional masking scheme forcing accurate normal estimation without external supervision. We adopt an efficient voxel-based indirect illumination tracing scheme that stores direction-aware outgoing radiance in each 3D Gaussian to disentangle secondary illumination for approximating multi-bounce light transport. To further enhance the illumination disentanglement, we represent a high-resolution environmental map with a learnable low-resolution map and a lightweight, fully convolutional network. Our method achieves state-of-the-art performance in both relighting and novel view synthesis tasks among the recently proposed inverse rendering methods while achieving real-time rendering. This substantiates our proposed method’s efficacy and broad applicability, highlighting its potential as an influential tool in various real-time interactive graphics applications such as material editing and relighting. The code will be released at https://github.com/guduxiaolang/GIR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google