GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization

要約

この論文では、再照明可能なシーン分解のための 3D ガウス逆レンダリング手法である GIR について説明します。
逆レンダリングに離散メッシュやニューラル暗黙的フィールドを利用する既存の方法と比較して、私たちの方法は 3D ガウスを利用して、マルチビュー画像からオブジェクトの材質特性、照明、および形状を推定します。
私たちの研究は、3D ガウスがパフォーマンス、汎用性、効率の点でニューラル フィールドよりも有望なバックボーンであることを示す証拠に動機付けられています。
この論文では、「逆レンダリングのパフォーマンスを向上させるために 3D ガウスをどのように適用できるか?」という質問に答えることを目的としています。離散的で、多くの場合不均質な分散 3D ガウス表現に基づいて法線を推定する複雑さに対処するために、
追加の監視を必要とせずに表面法線のモデリングを容易にする効率的な自己正則化方法を提案しました。
間接照明を再構成するために、レイ トレーシングをシミュレートするアプローチを提案します。
広範な実験により、逆レンダリングにおける広く使用されているさまざまなデータセットに対する複数のタスクにわたって、提案した GIR が既存の方法よりも優れたパフォーマンスを発揮することが実証されました。
これはその有効性と幅広い応用性を実証し、再照明と再建における影響力のあるツールとしての可能性を強調しています。
プロジェクトページ：https://3dgir.github.io

要約(オリジナル)

This paper presents GIR, a 3D Gaussian Inverse Rendering method for relightable scene factorization. Compared to existing methods leveraging discrete meshes or neural implicit fields for inverse rendering, our method utilizes 3D Gaussians to estimate the material properties, illumination, and geometry of an object from multi-view images. Our study is motivated by the evidence showing that 3D Gaussian is a more promising backbone than neural fields in terms of performance, versatility, and efficiency. In this paper, we aim to answer the question: “How can 3D Gaussian be applied to improve the performance of inverse rendering?” To address the complexity of estimating normals based on discrete and often in-homogeneous distributed 3D Gaussian representations, we proposed an efficient self-regularization method that facilitates the modeling of surface normals without the need for additional supervision. To reconstruct indirect illumination, we propose an approach that simulates ray tracing. Extensive experiments demonstrate our proposed GIR’s superior performance over existing methods across multiple tasks on a variety of widely used datasets in inverse rendering. This substantiates its efficacy and broad applicability, highlighting its potential as an influential tool in relighting and reconstruction. Project page: https://3dgir.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google