Gaussian Grouping: Segment and Edit Anything in 3D Scenes

要約

最近のGaussian Splattingは、3Dシーンの高品質でリアルタイムなノベルビュー合成を実現している。しかし、ガウシアンスプラッティングはアピアランスとジオメトリモデリングに特化しており、きめ細かなオブジェクトレベルのシーン理解が不十分である。この問題に対処するために、我々はガウス・グルーピングを提案する。これはガウス・スプラッティングを拡張し、オープンワールドの3Dシーンにおけるあらゆるものを共同で再構成し、セグメント化するものである。各ガウシアンをコンパクトな識別符号化（Identity Encoding）で補強することで、3Dシーンにおけるオブジェクトインスタンスやもののメンバシップに従ってガウシアンをグループ化できるようにする。高価な3Dラベルに頼る代わりに、SAMによる2Dマスク予測と導入された3D空間整合正則化を活用することで、微分可能なレンダリング中にIdentity Encodingsを監視する。暗黙的なNeRF表現と比較して、離散的でグループ化された3Dガウシアンは、高い視覚的品質、細かい粒度、効率で、3Dのあらゆるものを再構成、セグメント化、編集できることを示す。さらに、ガウシアングルーピングに基づき、ローカルガウシアン編集スキームを提案し、3Dオブジェクト除去、インペインティング、カラー化、シーンの再構成など、多様なシーン編集アプリケーションにおいて有効性を示す。我々のコードとモデルは、https://github.com/lkeab/gaussian-grouping。

要約(オリジナル)

The recent Gaussian Splatting achieves high-quality and real-time novel-view synthesis of the 3D scenes. However, it is solely concentrated on the appearance and geometry modeling, while lacking in fine-grained object-level scene understanding. To address this issue, we propose Gaussian Grouping, which extends Gaussian Splatting to jointly reconstruct and segment anything in open-world 3D scenes. We augment each Gaussian with a compact Identity Encoding, allowing the Gaussians to be grouped according to their object instance or stuff membership in the 3D scene. Instead of resorting to expensive 3D labels, we supervise the Identity Encodings during the differentiable rendering by leveraging the 2D mask predictions by SAM, along with introduced 3D spatial consistency regularization. Comparing to the implicit NeRF representation, we show that the discrete and grouped 3D Gaussians can reconstruct, segment and edit anything in 3D with high visual quality, fine granularity and efficiency. Based on Gaussian Grouping, we further propose a local Gaussian Editing scheme, which shows efficacy in versatile scene editing applications, including 3D object removal, inpainting, colorization and scene recomposition. Our code and models will be at https://github.com/lkeab/gaussian-grouping.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL