VG-SSL: Benchmarking Self-supervised Representation Learning Approaches for Visual Geo-localization

要約

視覚的地理位置特定 (VG) は、特にロボットや車両の自律ナビゲーションにおいて、視覚入力から地理的位置を特定するための重要な研究分野です。
現在の VG メソッドは、多くの場合、地理ラベル付き画像から特徴抽出器を学習して、高密度で地理的に関連した表現を作成します。
自己教師あり学習 (SSL) の最近の進歩により、ラベルのない画像を使用した教師あり学習と同等のパフォーマンスを達成できることが実証されました。
この研究では、VG での表現学習のための多様な SSL 手法の汎用性の高い統合とベンチマークを目的として設計された、独自の地理関連ペア戦略である GeoPair を特徴とする、新しい VG-SSL フレームワークを紹介します。
広範なパフォーマンス分析を通じて、SSL 技術を適応させて、ロボット工学や自動運転車で使用される手持ちカメラや車載カメラからのデータセットの VG を向上させます。
私たちの結果は、対照的な学習および情報最大化手法が、最先端の VG 手法のパフォーマンスに匹敵する、またはそれを上回る、優れた地域固有の表現品質を生み出すことを示しています。
私たちの知る限り、これは VG における SSL の最初のベンチマーク調査であり、ロボット工学や自動運転車の地域固有の視覚表現を強化する際の SSL の可能性を強調しています。
コードは https://github.com/arplaboratory/VG-SSL で公開されています。

要約(オリジナル)

Visual Geo-localization (VG) is a critical research area for identifying geo-locations from visual inputs, particularly in autonomous navigation for robotics and vehicles. Current VG methods often learn feature extractors from geo-labeled images to create dense, geographically relevant representations. Recent advances in Self-Supervised Learning (SSL) have demonstrated its capability to achieve performance on par with supervised techniques with unlabeled images. This study presents a novel VG-SSL framework, designed for versatile integration and benchmarking of diverse SSL methods for representation learning in VG, featuring a unique geo-related pair strategy, GeoPair. Through extensive performance analysis, we adapt SSL techniques to improve VG on datasets from hand-held and car-mounted cameras used in robotics and autonomous vehicles. Our results show that contrastive learning and information maximization methods yield superior geo-specific representation quality, matching or surpassing the performance of state-of-the-art VG techniques. To our knowledge, This is the first benchmarking study of SSL in VG, highlighting its potential in enhancing geo-specific visual representations for robotics and autonomous vehicles. The code is publicly available at https://github.com/arplaboratory/VG-SSL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google