Leveraging Consistent Spatio-Temporal Correspondence for Robust Visual Odometry

要約

VOに対する最近のアプローチは、ビデオフレーム間のオプティカルフローを予測するためにディープネットワークを使用することにより、性能を大幅に向上させている。しかし、既存の手法は、ノイズが多く、一貫性のないフローマッチングに悩まされており、困難なシナリオや長シーケンスの推定に対応することが困難である。これらの課題を克服するために、我々は、マルチフレームフローマッチングの精度と一貫性を高めるために、固有の時空間キューを効果的に活用する新しいディープネットワークアーキテクチャである時空間視覚オドメトリ（STVO）を導入する。より正確で一貫性のあるフローマッチングにより、STVOはバンドル調整（BA）を通してより良い姿勢推定を達成することができる。具体的には、STVOは2つの革新的なコンポーネントを導入する：1) 時間的整合性を維持しながら、隣接するフレーム間で時間的手がかりを抽出・伝播するためにマルチフレーム情報を利用する時間伝播モジュール、2) 過剰なノイズや誤ったマッチングをフィルタリングしながら、空間的整合性を強化するために深度マップからの幾何学的プリオールを利用する空間活性化モジュール。我々のSTVOは、TUM-RGBD、EuRoc MAV、ETH3D、KITTI Odometryベンチマークにおいて、最先端の性能を達成した。特にETH3Dベンチマークでは77.8%、KITTIオドメトリーベンチマークでは38.9%も精度が向上している。

要約(オリジナル)

Recent approaches to VO have significantly improved performance by using deep networks to predict optical flow between video frames. However, existing methods still suffer from noisy and inconsistent flow matching, making it difficult to handle challenging scenarios and long-sequence estimation. To overcome these challenges, we introduce Spatio-Temporal Visual Odometry (STVO), a novel deep network architecture that effectively leverages inherent spatio-temporal cues to enhance the accuracy and consistency of multi-frame flow matching. With more accurate and consistent flow matching, STVO can achieve better pose estimation through the bundle adjustment (BA). Specifically, STVO introduces two innovative components: 1) the Temporal Propagation Module that utilizes multi-frame information to extract and propagate temporal cues across adjacent frames, maintaining temporal consistency; 2) the Spatial Activation Module that utilizes geometric priors from the depth maps to enhance spatial consistency while filtering out excessive noise and incorrect matches. Our STVO achieves state-of-the-art performance on TUM-RGBD, EuRoc MAV, ETH3D and KITTI Odometry benchmarks. Notably, it improves accuracy by 77.8% on ETH3D benchmark and 38.9% on KITTI Odometry benchmark over the previous best methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL