StructVPR: Distill Structural Knowledge with Weighting Samples for Visual Place Recognition

要約

視覚的場所認識 (VPR) は通常、特定の画像検索の問題と見なされます。
既存のトレーニング フレームワークによって制限されているため、ほとんどの深層学習ベースの作業は、RGB 画像から十分に安定したグローバル フィーチャを抽出できず、時間のかかる再ランキング ステップに依存して、空間構造情報を活用してパフォーマンスを向上させます。
このホワイト ペーパーでは、VPR の新しいトレーニング アーキテクチャである StructVPR を提案して、RGB グローバル機能の構造的知識を強化し、絶えず変化する環境で機能の安定性を向上させます。
具体的には、StructVPR はセグメンテーション イメージを CNN ネットワークへの構造知識入力のより決定的なソースとして使用し、知識の蒸留を適用して、テストでのオンライン セグメンテーションとセグメント分岐の推論を回避します。
すべてのサンプルに高品質で役立つ知識が含まれているわけではなく、蒸留のパフォーマンスを損なうものさえあることを考慮して、サンプルを分割し、各サンプルの蒸留損失を計量して、期待される知識を正確に高めます。
最後に、StructVPR は、グローバル検索のみを使用していくつかのベンチマークで印象的なパフォーマンスを達成し、多くの 2 段階アプローチよりも大幅に優れています。
再ランキングを追加した後、計算コストを低く抑えながら最先端のパフォーマンスを実現しています。

要約(オリジナル)

Visual place recognition (VPR) is usually considered as a specific image retrieval problem. Limited by existing training frameworks, most deep learning-based works cannot extract sufficiently stable global features from RGB images and rely on a time-consuming re-ranking step to exploit spatial structural information for better performance. In this paper, we propose StructVPR, a novel training architecture for VPR, to enhance structural knowledge in RGB global features and thus improve feature stability in a constantly changing environment. Specifically, StructVPR uses segmentation images as a more definitive source of structural knowledge input into a CNN network and applies knowledge distillation to avoid online segmentation and inference of seg-branch in testing. Considering that not all samples contain high-quality and helpful knowledge, and some even hurt the performance of distillation, we partition samples and weigh each sample’s distillation loss to enhance the expected knowledge precisely. Finally, StructVPR achieves impressive performance on several benchmarks using only global retrieval and even outperforms many two-stage approaches by a large margin. After adding additional re-ranking, ours achieves state-of-the-art performance while maintaining a low computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google