SegPoint: Segment Any Point Cloud via Large Language Model

要約

3D 点群セグメンテーションが大幅に進歩しているにもかかわらず、既存の方法は主に特定のタスクに対処し、ターゲットを特定するための明示的な指示に依存しているため、統一されたフレームワークで暗黙的なユーザーの意図を推測して理解する機能が不足しています。
この研究では、マルチモーダル大規模言語モデル (LLM) の推論機能を活用して、さまざまなタスク (1) 3D 命令セグメンテーション、2) にわたってポイント単位のセグメンテーション マスクを生成する、SegPoint と呼ばれるモデルを提案します。
3D 参照セグメンテーション、3) 3D セマンティック セグメンテーション、および 4) 3D オープン語彙セマンティック セグメンテーション。
3D 命令の研究を進めるために、2,565 個の点群と命令のペアを特徴とする、複雑で暗黙的な命令テキストからのセグメンテーション パフォーマンスを評価するように設計された新しいベンチマーク Instruct3D を導入します。
私たちの実験結果は、SegPoint が Instruct3D データセットで優れた結果をもたらしながら、参照セグメンテーションの ScanRefer やセマンティック セグメンテーションの ScanNet などの確立されたベンチマークで競争力のあるパフォーマンスを達成していることを示しています。
私たちの知る限り、SegPoint は、単一のフレームワーク内でこれらのさまざまなセグメンテーション タスクに対処し、満足のいくパフォーマンスを達成した最初のモデルです。

要約(オリジナル)

Despite significant progress in 3D point cloud segmentation, existing methods primarily address specific tasks and depend on explicit instructions to identify targets, lacking the capability to infer and understand implicit user intentions in a unified framework. In this work, we propose a model, called SegPoint, that leverages the reasoning capabilities of a multi-modal Large Language Model (LLM) to produce point-wise segmentation masks across a diverse range of tasks: 1) 3D instruction segmentation, 2) 3D referring segmentation, 3) 3D semantic segmentation, and 4) 3D open-vocabulary semantic segmentation. To advance 3D instruction research, we introduce a new benchmark, Instruct3D, designed to evaluate segmentation performance from complex and implicit instructional texts, featuring 2,565 point cloud-instruction pairs. Our experimental results demonstrate that SegPoint achieves competitive performance on established benchmarks such as ScanRefer for referring segmentation and ScanNet for semantic segmentation, while delivering outstanding outcomes on the Instruct3D dataset. To our knowledge, SegPoint is the first model to address these varied segmentation tasks within a single framework, achieving satisfactory performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google