2D-Guided 3D Gaussian Segmentation

要約

最近、明示的な 3D 表現手法としての 3D ガウシアンは、複雑なシーンの表現とトレーニング時間の点で NeRF (Neural Radiance Fields) に対して強い競争力を示しています。
これらの利点は、3D の理解と編集における 3D ガウスの幅広い用途を示しています。
一方、3D ガウスのセグメンテーションはまだ初期段階にあります。
既存のセグメンテーション方法は面倒なだけでなく、複数のオブジェクトを短時間で同時にセグメント化することができません。
これに応えて、この論文では、2D セグメンテーションを監視として実装した 3D ガウス セグメンテーション手法を紹介します。
このアプローチでは、入力 2D セグメンテーション マップを使用して、追加された 3D ガウス セマンティック情報の学習をガイドし、最近傍クラスタリングと統計的フィルタリングによってセグメンテーション結果を洗練します。
実験では、私たちの簡潔な方法が、マルチオブジェクト セグメンテーションの mIOU および mAcc で、以前の単一オブジェクト セグメンテーション方法と同等のパフォーマンスを達成できることを示しています。

要約(オリジナル)

Recently, 3D Gaussian, as an explicit 3D representation method, has demonstrated strong competitiveness over NeRF (Neural Radiance Fields) in terms of expressing complex scenes and training duration. These advantages signal a wide range of applications for 3D Gaussians in 3D understanding and editing. Meanwhile, the segmentation of 3D Gaussians is still in its infancy. The existing segmentation methods are not only cumbersome but also incapable of segmenting multiple objects simultaneously in a short amount of time. In response, this paper introduces a 3D Gaussian segmentation method implemented with 2D segmentation as supervision. This approach uses input 2D segmentation maps to guide the learning of the added 3D Gaussian semantic information, while nearest neighbor clustering and statistical filtering refine the segmentation results. Experiments show that our concise method can achieve comparable performances on mIOU and mAcc for multi-object segmentation as previous single-object segmentation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google