Semantic Anything in 3D Gaussians

要約

3D ガウス スプラッティングは、Neural Radiance Fields (NeRF) の代替 3D 表現として登場し、その高品質なレンダリング結果とリアルタイム レンダリング速度の恩恵を受けています。
3D ガウス表現が解析されないままであることを考慮すると、最初にこのドメイン内でオブジェクト セグメンテーションを実行する必要があります。
その後、シーン編集と衝突検出を実行できるようになり、仮想現実 (VR)、拡張現実 (AR)、ゲーム/映画制作などの多数のアプリケーションに不可欠であることがわかります。この論文では、新しいアプローチを提案します。
トレーニング プロセスや学習されたパラメーターを必要とせずに、対話型手順を介して 3D ガウスでオブジェクト セグメンテーションを実現します。
提案された方法を、3D ガウシアンのセグメント何でもを表す SA-GS と呼びます。
単一の入力ビューでクリックされたポイントのセットが与えられると、SA-GS は SAM を一般化して、提案されたマルチビュー マスク生成およびビューごとのラベル割り当て方法を介して 3D 一貫性のあるセグメンテーションを実現できます。
また、さまざまなビューからラベルを割り当てるクロスビュー ラベル投票アプローチも提案します。
さらに、境界に位置する 3D ガウスの無視できない空間サイズに起因するセグメント化されたオブジェクトの境界粗さの問題に対処するために、SA-GS にはシンプルだが効果的なガウス分解スキームが組み込まれています。
広範な実験により、SA-GS が高品質の 3D セグメンテーション結果を達成し、シーン編集や衝突検出タスクにも簡単に適用できることが実証されました。
コードは近日公開予定です。

要約(オリジナル)

3D Gaussian Splatting has emerged as an alternative 3D representation of Neural Radiance Fields (NeRFs), benefiting from its high-quality rendering results and real-time rendering speed. Considering the 3D Gaussian representation remains unparsed, it is necessary first to execute object segmentation within this domain. Subsequently, scene editing and collision detection can be performed, proving vital to a multitude of applications, such as virtual reality (VR), augmented reality (AR), game/movie production, etc. In this paper, we propose a novel approach to achieve object segmentation in 3D Gaussian via an interactive procedure without any training process and learned parameters. We refer to the proposed method as SA-GS, for Segment Anything in 3D Gaussians. Given a set of clicked points in a single input view, SA-GS can generalize SAM to achieve 3D consistent segmentation via the proposed multi-view mask generation and view-wise label assignment methods. We also propose a cross-view label-voting approach to assign labels from different views. In addition, in order to address the boundary roughness issue of segmented objects resulting from the non-negligible spatial sizes of 3D Gaussian located at the boundary, SA-GS incorporates the simple but effective Gaussian Decomposition scheme. Extensive experiments demonstrate that SA-GS achieves high-quality 3D segmentation results, which can also be easily applied for scene editing and collision detection tasks. Codes will be released soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google