Variational Bayes Gaussian Splatting

要約

近年、3Dガウススプラッティングは、ガウスの混合を使用して3Dシーンをモデリングするための有望なアプローチとして浮上してきた。これらのモデルの主な最適化手法は、微分可能なレンダリングパイプラインを通して勾配をバックプロパゲートすることに依存しており、連続的なデータストリームを扱うときに壊滅的な忘却と格闘する。この限界に対処するために、我々は、モデルパラメータに対する変分推論としてガウシアンスプラットを訓練する新しいアプローチである、変分ベイズガウシアンスプラッティング（VBGS）を提案する。多変量ガウシアンの共役特性を利用することで、閉形式の変分更新ルールを導出し、再生バッファを必要とせずに、部分的で連続的なオブザベーションからの効率的な更新を可能にする。我々の実験によれば、VBGSは静的なデータセットにおいて最先端の性能に匹敵するだけでなく、逐次ストリーミングされる2Dおよび3Dデータからの継続的な学習が可能であり、この設定において性能を劇的に改善する。

要約(オリジナル)

Recently, 3D Gaussian Splatting has emerged as a promising approach for modeling 3D scenes using mixtures of Gaussians. The predominant optimization method for these models relies on backpropagating gradients through a differentiable rendering pipeline, which struggles with catastrophic forgetting when dealing with continuous streams of data. To address this limitation, we propose Variational Bayes Gaussian Splatting (VBGS), a novel approach that frames training a Gaussian splat as variational inference over model parameters. By leveraging the conjugacy properties of multivariate Gaussians, we derive a closed-form variational update rule, allowing efficient updates from partial, sequential observations without the need for replay buffers. Our experiments show that VBGS not only matches state-of-the-art performance on static datasets, but also enables continual learning from sequentially streamed 2D and 3D data, drastically improving performance in this setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL