Do Visual-Language Maps Capture Latent Semantics?

要約

最近、視覚言語モデル (VLM) がロボット マッピングに導入され、VLM の潜在表現、つまり埋め込みを使用してマップ内の自然言語セマンティクスを表現しています。
主な利点は、人間が作成した少数のラベルのセットを超えて、オープンな語彙シーンの理解に向けて移行できることです。
このように構築されたマップがナビゲーションなどの下流タスクをサポートするという事例証拠はありますが、これらの埋め込みを使用したマップの品質の厳密な分析は不足しています。
私たちは、地図品質の 2 つの重要な特性、つまりクエリ可能性と一貫性を調査します。
クエリ可能性の評価は、埋め込みから情報を取得する機能に対処します。
一貫性の 2 つの側面、つまりマップ内の一貫性とマップ間の一貫性を調査します。
マップ内の一貫性は、抽象セマンティック クラスを表現する埋め込みの能力を捕捉し、マップ間の一貫性は、表現の一般化プロパティを捕捉します。
この論文では、新しいオープン語彙マップ表現を提案するときに使用されるオープンソースのベンチマークを形成する、VLM を使用して作成されたマップの品質を分析する方法を提案します。
Matterport3D データセットからの実世界データを使用し、LSeg と OpenSeg という 2 つのエンコーダーを使用し、2 つの最先端の方法である VLMaps と OpenScene によって作成されたマップを評価することで、ベンチマークを実証します。
OpenScene は両方のエンコーダーで VLMap よりも優れており、LSeg は両方の方法で OpenSeg よりも優れていることがわかります。

要約(オリジナル)

Visual-language models (VLMs) have recently been introduced in robotic mapping by using the latent representations, i.e., embeddings, of the VLMs to represent the natural language semantics in the map. The main benefit is moving beyond a small set of human-created labels toward open-vocabulary scene understanding. While there is anecdotal evidence that maps built this way support downstream tasks, such as navigation, rigorous analysis of the quality of the maps using these embeddings is lacking. We investigate two critical properties of map quality: queryability and consistency. The evaluation of queryability addresses the ability to retrieve information from the embeddings. We investigate two aspects of consistency: intra-map consistency and inter-map consistency. Intra-map consistency captures the ability of the embeddings to represent abstract semantic classes, and inter-map consistency captures the generalization properties of the representation. In this paper, we propose a way to analyze the quality of maps created using VLMs, which forms an open-source benchmark to be used when proposing new open-vocabulary map representations. We demonstrate the benchmark by evaluating the maps created by two state-of-the-art methods, VLMaps and OpenScene, using two encoders, LSeg and OpenSeg, using real-world data from the Matterport3D data set. We find that OpenScene outperforms VLMaps with both encoders, and LSeg outperforms OpenSeg with both methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google