Scene-Generalizable Interactive Segmentation of Radiance Fields

要約

放射輝度フィールドにおけるインタラクティブなセグメンテーションのための既存の方法は、シーン固有の最適化を必要とするため、異なるシーン間で一般化することができず、その適用性が大幅に制限されます。
この研究では、Radiance Fields (SGISRF) におけるシーン汎用インタラクティブ セグメンテーションに初の試みを行い、わずかなインタラクティブなガイドによって、Radiance Fields によって表される新しい (目に見えない) シーンの 3D オブジェクト セグメンテーションを実行できる新しい SGISRF 手法を提案します。
ユーザーは、マルチビュー 2D 画像の特定のセットをクリックします。
特に、提案された SGISRF は、特別に設計された 3 つの技術を使用して 3 つの重要な課題に対処することに重点を置いています。
まず、クロスディメンション ガイダンス伝播を考案し、希少な 2D ユーザー クリックを有益な 3D ガイダンス表現にエンコードします。
第 2 に、不確実性を排除した 3D セグメンテーション モジュールは、効率的かつ効果的な 3D セグメンテーションを実現するように設計されています。
第三に、隠蔽-暴露教師あり学習スキームは、2Dマスク注釈のみを使用した2D空間での監視から生じる隠蔽された3Dセグメンテーションエラーを明らかにし、修正するために提案されます。
多様なシーンをカバーする 2 つの現実世界の挑戦的なベンチマークに関する広範な実験により、1) 提案された方法の有効性とシーンの一般化可能性、2) シーン固有の最適化を必要とする従来の方法と比較して良好なパフォーマンスが実証されました。

要約(オリジナル)

Existing methods for interactive segmentation in radiance fields entail scene-specific optimization and thus cannot generalize across different scenes, which greatly limits their applicability. In this work we make the first attempt at Scene-Generalizable Interactive Segmentation in Radiance Fields (SGISRF) and propose a novel SGISRF method, which can perform 3D object segmentation for novel (unseen) scenes represented by radiance fields, guided by only a few interactive user clicks in a given set of multi-view 2D images. In particular, the proposed SGISRF focuses on addressing three crucial challenges with three specially designed techniques. First, we devise the Cross-Dimension Guidance Propagation to encode the scarce 2D user clicks into informative 3D guidance representations. Second, the Uncertainty-Eliminated 3D Segmentation module is designed to achieve efficient yet effective 3D segmentation. Third, Concealment-Revealed Supervised Learning scheme is proposed to reveal and correct the concealed 3D segmentation errors resulted from the supervision in 2D space with only 2D mask annotations. Extensive experiments on two real-world challenging benchmarks covering diverse scenes demonstrate 1) effectiveness and scene-generalizability of the proposed method, 2) favorable performance compared to classical method requiring scene-specific optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google