Gaussian Grouping: Segment and Edit Anything in 3D Scenes

要約

最近のガウス スプラッティングは、3D シーンの高品質かつリアルタイムのノベルビュー合成を実現します。
ただし、外観とジオメトリのモデリングのみに重点が置かれており、オブジェクトレベルのきめ細かいシーンの理解が欠けています。
この問題に対処するために、私たちはガウス グループ化を提案します。これは、ガウス スプラッティングを拡張して、オープンワールド 3D シーン内のあらゆるものを共同で再構築およびセグメント化するものです。
各ガウスをコンパクトな ID エンコーディングで強化し、3D シーン内のオブジェクト インスタンスまたはメンバーシップに応じてガウスをグループ化できるようにします。
高価な 3D ラベルに頼る代わりに、導入された 3D 空間一貫性正則化とともに、Segment Anything Model (SAM) による 2D マスク予測を活用することで、微分可能なレンダリング中に ID エンコーディングを監視します。
暗黙的な NeRF 表現と比較して、離散およびグループ化された 3D ガウスが、高い視覚品質、細かい粒度、効率で 3D 内のあらゆるものを再構成、セグメント化、および編集できることを示します。
ガウス グループ化に基づいて、ローカル ガウス編集スキームをさらに提案します。これは、3D オブジェクトの削除、修復、カラー化、スタイル転送、シーンの再構成など、さまざまなシーン編集アプリケーションで有効性を示します。
私たちのコードとモデルは https://github.com/lkeab/gaussian-grouping にあります。

要約(オリジナル)

The recent Gaussian Splatting achieves high-quality and real-time novel-view synthesis of the 3D scenes. However, it is solely concentrated on the appearance and geometry modeling, while lacking in fine-grained object-level scene understanding. To address this issue, we propose Gaussian Grouping, which extends Gaussian Splatting to jointly reconstruct and segment anything in open-world 3D scenes. We augment each Gaussian with a compact Identity Encoding, allowing the Gaussians to be grouped according to their object instance or stuff membership in the 3D scene. Instead of resorting to expensive 3D labels, we supervise the Identity Encodings during the differentiable rendering by leveraging the 2D mask predictions by Segment Anything Model (SAM), along with introduced 3D spatial consistency regularization. Compared to the implicit NeRF representation, we show that the discrete and grouped 3D Gaussians can reconstruct, segment and edit anything in 3D with high visual quality, fine granularity and efficiency. Based on Gaussian Grouping, we further propose a local Gaussian Editing scheme, which shows efficacy in versatile scene editing applications, including 3D object removal, inpainting, colorization, style transfer and scene recomposition. Our code and models are at https://github.com/lkeab/gaussian-grouping.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google