FUSELOC: Fusing Global and Local Descriptors to Disambiguate 2D-3D Matching in Visual Localization

要約

階層的手法は最先端の視覚的位置特定を表し、グローバル記述子を使用して関連する地図領域に焦点を当てることで検索効率を最適化します。
ただし、特徴照合のためにすべてのデータベース イメージを保存する必要があるため、この最先端のパフォーマンスを実現するには、かなりのメモリ要件が必要になります。
対照的に、直接 2D-3D マッチング アルゴリズムでは、必要なメモリは大幅に少なくなりますが、検索空間が大きく曖昧であるため、精度が低くなります。
私たちは、2D-3D 検索フレームワーク内で加重平均演算子を使用してローカル記述子とグローバル記述子を融合することで、この曖昧さに対処します。
この融合により、地理的に近いローカル記述子がグローバル記述子に従って特徴空間内でより近くなるように、ローカル記述子空間が再配置されます。
したがって、特に地理的に離れている場合、無関係な競合記述子の数が減少し、それによってクエリ記述子と正しく一致する可能性が高まります。
ローカルのみのシステムと比較して精度を一貫して向上させ、メモリ要件を半分にしながら階層方式に近いパフォーマンスを実現します。
4 つの異なるデータセットにわたるさまざまな最先端のローカルおよびグローバル記述子を使用した広範な実験により、私たちのアプローチの有効性が実証されました。
私たちのアプローチにより、メモリ効率を維持しながら直接マッチング アルゴリズムがグローバル記述子の恩恵を受けることが初めて可能になります。
この論文のコードは \href{https://github.com/sontung/descriptor-disambiguation}{github.com/sontung/descriptor-disambiguation} で公開されます。

要約(オリジナル)

Hierarchical methods represent state-of-the-art visual localization, optimizing search efficiency by using global descriptors to focus on relevant map regions. However, this state-of-the-art performance comes at the cost of substantial memory requirements, as all database images must be stored for feature matching. In contrast, direct 2D-3D matching algorithms require significantly less memory but suffer from lower accuracy due to the larger and more ambiguous search space. We address this ambiguity by fusing local and global descriptors using a weighted average operator within a 2D-3D search framework. This fusion rearranges the local descriptor space such that geographically nearby local descriptors are closer in the feature space according to the global descriptors. Therefore, the number of irrelevant competing descriptors decreases, specifically if they are geographically distant, thereby increasing the likelihood of correctly matching a query descriptor. We consistently improve the accuracy over local-only systems and achieve performance close to hierarchical methods while halving memory requirements. Extensive experiments using various state-of-the-art local and global descriptors across four different datasets demonstrate the effectiveness of our approach. For the first time, our approach enables direct matching algorithms to benefit from global descriptors while maintaining memory efficiency. The code for this paper will be published at \href{https://github.com/sontung/descriptor-disambiguation}{github.com/sontung/descriptor-disambiguation}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google