Context-Based Visual-Language Place Recognition

要約

ビジョンベースのロボット位置特定と SLAM では、視覚的場所認識 (VPR) が不可欠です。
この論文は、与えられたクエリ画像に対応する位置を正確に認識することを伴う VPR の問題を扱います。
視覚ベースの場所認識に対する一般的なアプローチは、低レベルの視覚特徴に依存しています。
近年の大きな進歩にもかかわらず、シーンの外観に変化がある場合、低レベルの視覚的特徴に基づく場所認識は困難です。
これに対処するために、手作りの機能の制限を克服するためのエンドツーエンドのトレーニング アプローチが提案されています。
ただし、これらのアプローチは依然として劇的な変化の下では機能せず、モデルをトレーニングするには大量のラベル付きデータが必要であり、重大な制限があります。
オブジェクトやカテゴリなどの高レベルの意味情報を利用して、外観の変化を処理する方法が提案されています。
この論文では、シーンの変化に対して堅牢であり、追加のトレーニングを必要としない新しい VPR アプローチを紹介します。
私たちの方法は、ゼロショットの言語駆動型セマンティック セグメンテーション モデルを使用してピクセル レベルの埋め込みを抽出することにより、セマンティック画像記述子を構築します。
現実世界の公開データセットを使用して、困難な場所認識シナリオにおけるアプローチを検証します。
実験は、私たちの方法が学習されていない画像表現技術や既製の畳み込みニューラル ネットワーク (CNN) 記述子よりも優れていることを示しています。
私たちのコードは https://github.com/woo-soojin/context-based-vlpr で入手できます。

要約(オリジナル)

In vision-based robot localization and SLAM, Visual Place Recognition (VPR) is essential. This paper addresses the problem of VPR, which involves accurately recognizing the location corresponding to a given query image. A popular approach to vision-based place recognition relies on low-level visual features. Despite significant progress in recent years, place recognition based on low-level visual features is challenging when there are changes in scene appearance. To address this, end-to-end training approaches have been proposed to overcome the limitations of hand-crafted features. However, these approaches still fail under drastic changes and require large amounts of labeled data to train models, presenting a significant limitation. Methods that leverage high-level semantic information, such as objects or categories, have been proposed to handle variations in appearance. In this paper, we introduce a novel VPR approach that remains robust to scene changes and does not require additional training. Our method constructs semantic image descriptors by extracting pixel-level embeddings using a zero-shot, language-driven semantic segmentation model. We validate our approach in challenging place recognition scenarios using real-world public dataset. The experiments demonstrate that our method outperforms non-learned image representation techniques and off-the-shelf convolutional neural network (CNN) descriptors. Our code is available at https: //github.com/woo-soojin/context-based-vlpr.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google