Mapping the Unseen: Unified Promptable Panoptic Mapping with Dynamic Labeling using Foundation Models

要約

ロボット工学とコンピュータビジョンの分野では、複雑な環境を理解し相互作用できるインテリジェントマシンへの要求が高まっているため、効率的で正確なセマンティックマッピングは依然として重要な課題である。しかしながら、従来の汎光マッピング手法は、あらかじめ定義された意味クラスによって制限されており、そのため、新規なオブジェクトや予期せぬオブジェクトを扱うには効果がない。この限界に対応するため、我々はUnified Promptable Panoptic Mapping (UPPM)法を紹介する。UPPMは、最近の基礎モデルの進歩を利用し、自然言語プロンプトを用いたリアルタイムのオンデマンドラベル生成を可能にする。従来のパノプティックマッピング手法に動的なラベリング戦略を組み込むことで、UPPMはマップ再構築において高いパフォーマンスレベルを維持しながら、適応性と汎用性の大幅な向上を実現する。我々は、実世界とシミュレートされたデータセットで我々のアプローチを実証した。その結果、UPPMは自然言語との対話を通じて豊富な意味ラベルを生成しながら、シーンを正確に再構成し、オブジェクトをセグメント化できることが示された。一連のアブレーション実験により、固定ラベルセットに対する基礎モデルベースのラベリングの優位性が検証された。

要約(オリジナル)

In the field of robotics and computer vision, efficient and accurate semantic mapping remains a significant challenge due to the growing demand for intelligent machines that can comprehend and interact with complex environments. Conventional panoptic mapping methods, however, are limited by predefined semantic classes, thus making them ineffective for handling novel or unforeseen objects. In response to this limitation, we introduce the Unified Promptable Panoptic Mapping (UPPM) method. UPPM utilizes recent advances in foundation models to enable real-time, on-demand label generation using natural language prompts. By incorporating a dynamic labeling strategy into traditional panoptic mapping techniques, UPPM provides significant improvements in adaptability and versatility while maintaining high performance levels in map reconstruction. We demonstrate our approach on real-world and simulated datasets. Results show that UPPM can accurately reconstruct scenes and segment objects while generating rich semantic labels through natural language interactions. A series of ablation experiments validated the advantages of foundation model-based labeling over fixed label sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL