RefMask3D: Language-Guided Transformer for 3D Referring Segmentation

要約

3D 参照セグメンテーションは、点群シーン内の自然言語表現によって記述されるオブジェクトをセグメント化することを目的とした、新たな挑戦的なビジョン言語タスクです。
このタスクの背後にある重要な課題は、ビジョンと言語の機能の融合と調整です。
この研究では、包括的なマルチモーダル機能の相互作用と理解を探索するために RefMask3D を提案します。
まず、点群のまばらで不規則な性質によってもたらされる課題に効果的に対処する、クロスモーダルなグループ単語注意を通じて言語を幾何学的に一貫したサブクラウドと統合するための幾何学強化グループ単語注意を提案します。
次に、言語プリミティブ構築を導入して、異なる意味論的属性を表す意味論的プリミティブを生成します。これにより、解読段階での視覚言語の理解が大幅に強化されます。
さらに、言語プリミティブ間の相互関係を分析して洞察を統合し、共通の特徴を正確に特定するオブジェクト クラスター モジュールを導入します。これにより、全体的な情報を取得し、ターゲット識別の精度を向上させることができます。
提案された RefMask3D は、3D 参照セグメンテーション、3D 視覚的グラウンディング、さらには 2D 参照画像セグメンテーションにおいて、新しい最先端のパフォーマンスを実現します。
特に、RefMask3D は、困難な ScanRefer データセット上で、以前の最先端の手法を 3.16% mIoU} という大きなマージンで上回りました。
コードは https://github.com/heshuting555/RefMask3D で入手できます。

要約(オリジナル)

3D referring segmentation is an emerging and challenging vision-language task that aims to segment the object described by a natural language expression in a point cloud scene. The key challenge behind this task is vision-language feature fusion and alignment. In this work, we propose RefMask3D to explore the comprehensive multi-modal feature interaction and understanding. First, we propose a Geometry-Enhanced Group-Word Attention to integrate language with geometrically coherent sub-clouds through cross-modal group-word attention, which effectively addresses the challenges posed by the sparse and irregular nature of point clouds. Then, we introduce a Linguistic Primitives Construction to produce semantic primitives representing distinct semantic attributes, which greatly enhance the vision-language understanding at the decoding stage. Furthermore, we introduce an Object Cluster Module that analyzes the interrelationships among linguistic primitives to consolidate their insights and pinpoint common characteristics, helping to capture holistic information and enhance the precision of target identification. The proposed RefMask3D achieves new state-of-the-art performance on 3D referring segmentation, 3D visual grounding, and also 2D referring image segmentation. Especially, RefMask3D outperforms previous state-of-the-art method by a large margin of 3.16% mIoU} on the challenging ScanRefer dataset. Code is available at https://github.com/heshuting555/RefMask3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google