What you see is what you get: Experience ranking with deep neural dataset-to-dataset similarity for topological localisation

要約

ローカライゼーションに最も関連する視覚記憶を思い出したり、特定の視覚記憶に対するローカライゼーション作業の起こりそうな結果を先験的に理解したりすることは、効率的かつ堅牢な視覚ナビゲーションに役立ちます。
この問題の解決策は、実行時に利用できないため、グラウンド トゥルースに対するパフォーマンス評価とは切り離される必要があり、理想的には一般化可能な環境観察に基づく必要があります。
このため、画像のデータセット (この研究では一連の地図とライブ体験) を比較するための拡張性の高いツールとして、最近開発された Visual DNA を適用することを提案します。
ローカリゼーションの場合、パフォーマンスに影響を与える重要なデータセットの違いは、天候、照明、季節などの外観変化のモードです。
具体的には、特定のレイヤーで特徴ボリュームを照合することによって場所認識に使用されるディープ アーキテクチャについては、分布測定を使用して、ライブ画像と以前に記録された複数の過去の経験の間でニューロンごとの活性化統計を比較します。
夏）または時間帯（昼/夜）のシフト。
同じ外観ギャップを持つ過去のエクスペリエンスを使用してローカライズする場合、これらの統計の違いがパフォーマンスに相関していることがわかりました。
私たちは、ノールランドの季節をまたぐデータセットと、照明と緩やかな季節変化を伴うオックスフォードの大学公園からのデータに対してアプローチを検証し、候補エクスペリエンス全体で実際のローカリゼーション パフォーマンスをランク付けするシステムの優れた能力を示しました。

要約(オリジナル)

Recalling the most relevant visual memories for localisation or understanding a priori the likely outcome of localisation effort against a particular visual memory is useful for efficient and robust visual navigation. Solutions to this problem should be divorced from performance appraisal against ground truth – as this is not available at run-time – and should ideally be based on generalisable environmental observations. For this, we propose applying the recently developed Visual DNA as a highly scalable tool for comparing datasets of images – in this work, sequences of map and live experiences. In the case of localisation, important dataset differences impacting performance are modes of appearance change, including weather, lighting, and season. Specifically, for any deep architecture which is used for place recognition by matching feature volumes at a particular layer, we use distribution measures to compare neuron-wise activation statistics between live images and multiple previously recorded past experiences, with a potentially large seasonal (winter/summer) or time of day (day/night) shift. We find that differences in these statistics correlate to performance when localising using a past experience with the same appearance gap. We validate our approach over the Nordland cross-season dataset as well as data from Oxford’s University Parks with lighting and mild seasonal change, showing excellent ability of our system to rank actual localisation performance across candidate experiences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google