TranSplat: Lighting-Consistent Cross-Scene Object Transfer with 3D Gaussian Splatting

要約

ガウススプラッティングフレームワークに基づいて（ソースからターゲットシーンへ）リアルなクロスシーンオブジェクト転送を可能にする3DシーンレンダリングアルゴリズムであるTransplatを提示します。
私たちのアプローチでは、2つの重要な課題に対処します。（1）ソースシーンからの正確な3Dオブジェクト抽出、および（2）明示的な物質的なプロパティの推定なしに、ターゲットシーンで転送されたオブジェクトの忠実な再照明。
トランスプラットは、2Dオブジェクトマスクを使用して細粒3Dセグメンテーションを駆動し、ソースシーンにスプラットモデルに適合します。
ターゲットシーンへのオブジェクトのユーザーガイド付き挿入に続いて、位置と方向の自動洗練とともに、トランスプラットは球状高調波分析を介してガウスごとの輝度伝達機能を導き出し、ターゲットシーンの照明環境に合わせてオブジェクトの外観を適応させます。
この再視力戦略では、BRDFSなどの物理シーンのプロパティを明示的に推定する必要はありません。
いくつかの合成および現実世界のシーンとオブジェクトで評価されたトランスプラットは、最近のベースライン方法と視覚的に説得力のあるクロスシーンオブジェクトの転送と比較して、優れた3Dオブジェクト抽出と再生パフォーマンスを生成します。
最後に、アプローチの限界について議論します。

要約(オリジナル)

We present TranSplat, a 3D scene rendering algorithm that enables realistic cross-scene object transfer (from a source to a target scene) based on the Gaussian Splatting framework. Our approach addresses two critical challenges: (1) precise 3D object extraction from the source scene, and (2) faithful relighting of the transferred object in the target scene without explicit material property estimation. TranSplat fits a splatting model to the source scene, using 2D object masks to drive fine-grained 3D segmentation. Following user-guided insertion of the object into the target scene, along with automatic refinement of position and orientation, TranSplat derives per-Gaussian radiance transfer functions via spherical harmonic analysis to adapt the object’s appearance to match the target scene’s lighting environment. This relighting strategy does not require explicitly estimating physical scene properties such as BRDFs. Evaluated on several synthetic and real-world scenes and objects, TranSplat yields excellent 3D object extractions and relighting performance compared to recent baseline methods and visually convincing cross-scene object transfers. We conclude by discussing the limitations of the approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google