Click-Gaussian: Interactive Segmentation to Any 3D Gaussians

要約

3D ガウスのインタラクティブなセグメンテーションにより、3D ガウス スプラッティングのリアルタイム レンダリング機能のおかげで、3D シーンをリアルタイムで操作する大きな機会が開かれます。
ただし、現在の方法では、ノイズの多いセグメンテーション出力を処理するための後処理に時間がかかるという問題があります。
また、3D シーンをきめ細かく操作するために重要な詳細なセグメンテーションを提供するのにも苦労しています。
この研究では、2 レベルの粒度の区別可能な特徴フィールドを学習し、時間のかかる後処理を行わずにセグメンテーションを容易にする Click-Gaussian を提案します。
私たちは、3D シーンから独立して取得された 2D セグメンテーションから生じる一貫性のない学習特徴フィールドに起因する課題を詳しく掘り下げます。
3D セグメンテーションの精度は、ビュー全体の 2D セグメンテーションの結果、3D セグメンテーションの主な手がかりが矛盾すると低下します。
これらの問題を克服するために、私たちはグローバル機能誘導学習 (GFL) を提案します。
GFL は、ビュー全体のノイズの多い 2D セグメントからグローバル特徴候補のクラスターを構築し、3D ガウスの特徴をトレーニングするときにノイズを平滑化します。
私たちの方法は、クリックあたり 10 ミリ秒で実行され、以前の方法の 15 ～ 130 倍の速さであり、セグメンテーションの精度も大幅に向上しています。
私たちのプロジェクト ページは https://seokhunchoi.github.io/Click-Gaussian から入手できます。

要約(オリジナル)

Interactive segmentation of 3D Gaussians opens a great opportunity for real-time manipulation of 3D scenes thanks to the real-time rendering capability of 3D Gaussian Splatting. However, the current methods suffer from time-consuming post-processing to deal with noisy segmentation output. Also, they struggle to provide detailed segmentation, which is important for fine-grained manipulation of 3D scenes. In this study, we propose Click-Gaussian, which learns distinguishable feature fields of two-level granularity, facilitating segmentation without time-consuming post-processing. We delve into challenges stemming from inconsistently learned feature fields resulting from 2D segmentation obtained independently from a 3D scene. 3D segmentation accuracy deteriorates when 2D segmentation results across the views, primary cues for 3D segmentation, are in conflict. To overcome these issues, we propose Global Feature-guided Learning (GFL). GFL constructs the clusters of global feature candidates from noisy 2D segments across the views, which smooths out noises when training the features of 3D Gaussians. Our method runs in 10 ms per click, 15 to 130 times as fast as the previous methods, while also significantly improving segmentation accuracy. Our project page is available at https://seokhunchoi.github.io/Click-Gaussian

arxiv情報

提供元, 利用サービス

arxiv.jp, Google