Deep Patch Visual Odometry

要約

我々は、単眼ビジュアルオドメトリ（VO）のための新しい深層学習システムであるディープパッチビジュアルオドメトリ（DPVO）を提案します。
DPVO は、時間の経過とともにイメージ パッチを追跡するために設計された新しいリカレント ネットワーク アーキテクチャを使用します。
VO への最近のアプローチでは、ディープ ネットワークを使用してビデオ フレーム間の高密度フローを予測することにより、最先端の精度が大幅に向上しました。
ただし、高密度フローを使用すると、膨大な計算コストが発生するため、これらの以前の方法は多くのユースケースでは実用的ではありません。
それにもかかわらず、密なフローは不正確な一致に対して追加の冗長性を提供するため、重要であると考えられてきました。
DPVO はこの仮定を反証し、密なフローよりも疎なパッチベースのマッチングの利点を活用することで最高の精度と効率を得ることが可能であることを示しています。
DPVO は、微分可能なバンドル調整と組み合わせたパッチベースの対応のための新しい反復更新オペレーターを導入します。
Standard ベンチマークでは、DPVO は、メモリの 3 分の 1 を使用し、平均で 3 倍高速に実行する学習ベースの最先端の VO システム (DROID) を含む、これまでのすべての研究を上回っています。
コードは https://github.com/princeton-vl/DPVO で入手できます。

要約(オリジナル)

We propose Deep Patch Visual Odometry (DPVO), a new deep learning system for monocular Visual Odometry (VO). DPVO uses a novel recurrent network architecture designed for tracking image patches across time. Recent approaches to VO have significantly improved the state-of-the-art accuracy by using deep networks to predict dense flow between video frames. However, using dense flow incurs a large computational cost, making these previous methods impractical for many use cases. Despite this, it has been assumed that dense flow is important as it provides additional redundancy against incorrect matches. DPVO disproves this assumption, showing that it is possible to get the best accuracy and efficiency by exploiting the advantages of sparse patch-based matching over dense flow. DPVO introduces a novel recurrent update operator for patch based correspondence coupled with differentiable bundle adjustment. On Standard benchmarks, DPVO outperforms all prior work, including the learning-based state-of-the-art VO-system (DROID) using a third of the memory while running 3x faster on average. Code is available at https://github.com/princeton-vl/DPVO

arxiv情報

提供元, 利用サービス

arxiv.jp, Google