Weatherproofing Retrieval for Localization with Generative AI and Geometric Consistency

要約

最先端の視覚的位置特定アプローチは一般に、最初の画像検索ステップに依存しており、その役割が重要です。
しかし、さまざまな条件に直面すると、回収が困難になることがよくあります。
天候や時刻は、視覚的な位置特定の精度に劇的な影響を及ぼします。
この論文では、この検索ステップを改善し、最終的な位置特定タスクに合わせて調整します。
私たちが提唱するいくつかの変更のうち、特に視覚的位置特定を損なう名前付きの多数のバリエーションに向けてトレーニング セットを自動的に拡張するために、テキストから画像への生成モデルから取得したトレーニング セット画像のバリアントを合成することを提案します。
トレーニング セットを拡張した後、実際の画像と合成画像の組み合わせの特異性と基礎となるジオメトリを活用するトレーニング アプローチを提案します。
私たちは、これらの変更が最も困難な視覚的位置特定データセットの大幅な改善につながることを実験的に示しています。
プロジェクトページ：https://europe.naverlabs.com/ret4loc

要約(オリジナル)

State-of-the-art visual localization approaches generally rely on a first image retrieval step whose role is crucial. Yet, retrieval often struggles when facing varying conditions, due to e.g. weather or time of day, with dramatic consequences on the visual localization accuracy. In this paper, we improve this retrieval step and tailor it to the final localization task. Among the several changes we advocate for, we propose to synthesize variants of the training set images, obtained from generative text-to-image models, in order to automatically expand the training set towards a number of nameable variations that particularly hurt visual localization. After expanding the training set, we propose a training approach that leverages the specificities and the underlying geometry of this mix of real and synthetic images. We experimentally show that those changes translate into large improvements for the most challenging visual localization datasets. Project page: https://europe.naverlabs.com/ret4loc

arxiv情報

提供元, 利用サービス

arxiv.jp, Google