MVC-VPR: Mutual Learning of Viewpoint Classification and Visual Place Recognition

要約

Visual Place Recognition (VPR) は、環境画像からエンコードされた記述子に基づく画像検索を利用して、場所を確実に識別することを目的としています。
しかし、同じ場所で異なる視点から撮影された画像の外観の急激な変化は、記述子の学習に一貫性のない監視信号を引き起こし、VPR のパフォーマンスを大幅に妨げます。
以前の研究では、手動で定義されたルールまたは視点のグラウンド トゥルース ラベルに基づいて画像を分類し、その後、分類結果に基づいて記述子のトレーニングを行うことが提案されています。
ただし、すべてのデータセットに視点のグラウンド トゥルース ラベルがあるわけではなく、手動で定義されたルールが最適ではない可能性があり、記述子のパフォーマンスの低下につながります。これらの課題に対処するために、視点の自己分類と VPR の相互学習を導入します。
地理座標に基づく大まかな分類から始めて、単純なクラスタリング手法を使用して視点のより詳細な分類に進みます。
データセットは教師なしの方法で分割され、同時に場所認識のための記述子抽出器をトレーニングします。
実験結果は、このアプローチが視点に基づいてデータセットをほぼ完全に分割し、相互に強化する効果を達成することを示しています。
私たちの方法は、グラウンド トゥルース ラベルを使用してデータセットを分割する最先端の (SOTA) 方法よりも優れています。

要約(オリジナル)

Visual Place Recognition (VPR) aims to robustly identify locations by leveraging image retrieval based on descriptors encoded from environmental images. However, drastic appearance changes of images captured from different viewpoints at the same location pose incoherent supervision signals for descriptor learning, which severely hinder the performance of VPR. Previous work proposes classifying images based on manually defined rules or ground truth labels for viewpoints, followed by descriptor training based on the classification results. However, not all datasets have ground truth labels of viewpoints and manually defined rules may be suboptimal, leading to degraded descriptor performance.To address these challenges, we introduce the mutual learning of viewpoint self-classification and VPR. Starting from coarse classification based on geographical coordinates, we progress to finer classification of viewpoints using simple clustering techniques. The dataset is partitioned in an unsupervised manner while simultaneously training a descriptor extractor for place recognition. Experimental results show that this approach almost perfectly partitions the dataset based on viewpoints, thus achieving mutually reinforcing effects. Our method even excels state-of-the-art (SOTA) methods that partition datasets using ground truth labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google