3D Gaussian Splatting as Markov Chain Monte Carlo

要約

3D ガウス スプラッティングは最近、ニューラル レンダリングで一般的になってきましたが、現在の方法は、ガウスを配置するために慎重に設計されたクローン作成および分割戦略に依存しており、これは必ずしも一般化できるわけではなく、低品質のレンダリングにつながる可能性があります。
さらに、現実世界のシーンでは、良好なパフォーマンスを得るには適切な初期点群が必要です。
この研究では、3D ガウスを、シーンの物理的表現を記述する基礎となる確率分布から抽出されたランダム サンプル、つまりマルコフ連鎖モンテカルロ (MCMC) サンプルとして再考します。
このビューの下では、3D ガウス更新が確率的ランジュバン勾配降下法 (SGLD) 更新に驚くほど似ていることがわかります。
MCMC と同様に、サンプルは過去の訪問位置にすぎず、フレームワークに新しいガウスを追加することは、既存のガウスの位置にガウスを配置するというヒューリスティックなしで簡単に実現できます。
効率を高めるためにより少ないガウス分布を使用することを奨励するために、ガウス分布に L1 正則化子を導入します。
さまざまな標準的な評価シーンで、私たちの方法がレンダリング品質の向上、ガウス数の容易な制御、および初期化に対する堅牢性を提供することを示します。

要約(オリジナル)

While 3D Gaussian Splatting has recently become popular for neural rendering, current methods rely on carefully engineered cloning and splitting strategies for placing Gaussians, which does not always generalize and may lead to poor-quality renderings. In addition, for real-world scenes, they rely on a good initial point cloud to perform well. In this work, we rethink 3D Gaussians as random samples drawn from an underlying probability distribution describing the physical representation of the scene — in other words, Markov Chain Monte Carlo (MCMC) samples. Under this view, we show that the 3D Gaussian updates are strikingly similar to a Stochastic Langevin Gradient Descent (SGLD) update. As with MCMC, samples are nothing but past visit locations, adding new Gaussians under our framework can simply be realized without heuristics as placing Gaussians at existing Gaussian locations. To encourage using fewer Gaussians for efficiency, we introduce an L1-regularizer on the Gaussians. On various standard evaluation scenes, we show that our method provides improved rendering quality, easy control over the number of Gaussians, and robustness to initialization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google