MambaVO: Deep Visual Odometry Based on Sequential Matching Refinement and Training Smoothing

要約

深い視覚的臭気は、技術を最適化する学習によって大きな進歩を実証しています。
このアプローチは、フレーム全体の視覚的マッチングに大きく依存しています。
ただし、挑戦的なシナリオでの曖昧なマッチングは、幾何学的モデリングとバンドル調整の最適化に大きなエラーにつながり、ポーズ推定の精度と堅牢性を損ないます。
この課題に対処するために、このペーパーでは、堅牢な初期化、Mambaベースのシーケンシャルマッチングの改良性、および一致する品質を向上させ、ポーズ推定を改善するための滑らかなトレーニングを実施するMambavoを提案します。
具体的には、新しいフレームは、半密度ベースの幾何学的初期化モジュール（GIM）を介して、維持されたポイントフレームグラフ（PFG）の最も近いキーフレームと一致します。
次に、初期化されたPFGは、提案された幾何学MAMBAモジュール（GMM）によって処理されます。これにより、マッチング機能を活用して、全体的なフレーム間マッチングを改良します。
洗練されたPFGは最終的に微分可能なBAによって処理され、ポーズとマップを最適化します。
グラデーションの分散に対処するために、トレーニングをスムーズにトレーニングし、収束と安定性を高めるために、トレンド認識ペナルティ（TAP）が提案されています。
Mambavo ++を有効にするために、ループ閉鎖モジュールが最終的に適用されます。
パブリックベンチマークでは、マンバボとマンバボ++がソタのパフォーマンスを実証しながら、リアルタイムのランニングを保証します。

要約(オリジナル)

Deep visual odometry has demonstrated great advancements by learning-to-optimize technology. This approach heavily relies on the visual matching across frames. However, ambiguous matching in challenging scenarios leads to significant errors in geometric modeling and bundle adjustment optimization, which undermines the accuracy and robustness of pose estimation. To address this challenge, this paper proposes MambaVO, which conducts robust initialization, Mamba-based sequential matching refinement, and smoothed training to enhance the matching quality and improve the pose estimation. Specifically, the new frame is matched with the closest keyframe in the maintained Point-Frame Graph (PFG) via the semi-dense based Geometric Initialization Module (GIM). Then the initialized PFG is processed by a proposed Geometric Mamba Module (GMM), which exploits the matching features to refine the overall inter-frame matching. The refined PFG is finally processed by differentiable BA to optimize the poses and the map. To deal with the gradient variance, a Trending-Aware Penalty (TAP) is proposed to smooth training and enhance convergence and stability. A loop closure module is finally applied to enable MambaVO++. On public benchmarks, MambaVO and MambaVO++ demonstrate SOTA performance, while ensuring real-time running.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google