What to Learn: Features, Image Transformations, or Both?

要約

長期的な視覚的位置特定は、ロボット工学やコンピュータービジョンにおいて不可欠な問題ですが、照明や季節によって生じる環境の外観の変化のため、依然として困難です。
多くの既存の作品は、シーンに一致する不変のまばらなキーポイントと記述子を直接学習することによってこの問題を解決しようと試みてきましたが、これらのアプローチは依然として不利な外観の変化に悩まされています。
ニューラル スタイル転送などの画像変換の最近の開発は、このような外観のギャップに対処する代替手段として登場しました。
この研究では、画像変換ネットワークと特徴学習ネットワークを組み合わせて、長期的な位置特定パフォーマンスを向上させることを提案します。
夜間と昼間の画像のペアが与えられると、画像変換ネットワークは、特徴照合の前に夜間画像を昼のような状態に変換します。
フィーチャ ネットワークは、関連する記述子値を使用してキーポイントの位置を検出することを学習します。この記述子値は、相対姿勢を計算するために古典的な姿勢推定器に渡すことができます。
私たちは、スタイル転送と特徴学習の組み合わせの有効性とそのトレーニング戦略を調べるためにさまざまな実験を行い、そのような組み合わせによって長期的なローカリゼーションのパフォーマンスが大幅に向上することを示しました。

要約(オリジナル)

Long-term visual localization is an essential problem in robotics and computer vision, but remains challenging due to the environmental appearance changes caused by lighting and seasons. While many existing works have attempted to solve it by directly learning invariant sparse keypoints and descriptors to match scenes, these approaches still struggle with adverse appearance changes. Recent developments in image transformations such as neural style transfer have emerged as an alternative to address such appearance gaps. In this work, we propose to combine an image transformation network and a feature-learning network to improve long-term localization performance. Given night-to-day image pairs, the image transformation network transforms the night images into day-like conditions prior to feature matching; the feature network learns to detect keypoint locations with their associated descriptor values, which can be passed to a classical pose estimator to compute the relative poses. We conducted various experiments to examine the effectiveness of combining style transfer and feature learning and its training strategy, showing that such a combination greatly improves long-term localization performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google