DBA-Fusion: Tightly Integrating Deep Dense Visual Bundle Adjustment with Multiple Sensors for Large-Scale Localization and Mapping

要約

ビジュアル同時ローカライゼーションおよびマッピング (VSLAM) には幅広い用途があり、ディープ ニューラル ネットワークを活用した最先端の手法により堅牢性と適用性が向上します。
しかし、これらの学習ベースの手法とマルチセンサー情報を融合する研究は不足しています。これは、関連するアプリケーションを大規模で複雑なシナリオに推し進めるために不可欠となる可能性があります。
この論文では、トレーニング可能な深密バンドル調整 (DBA) とマルチセンサー情報を、ファクター グラフを通じて緊密に統合します。
このフレームワークでは、連続した画像間で再帰的なオプティカル フローと DBA が実行されます。
DBA から得られたヘシアン情報は、マルチセンサー フュージョンの汎用ファクター グラフに入力されます。このグラフでは、スライディング ウィンドウが使用され、確率的周辺化がサポートされます。
視覚と慣性の統合のためのパイプラインが最初に開発され、メートルスケールの位置特定とマッピングの最小限の機能が提供されます。
さらに、他のセンサー (全地球航法衛星システムなど) がドリフトレスおよび地理参照機能のために統合されています。
公開データセットと自己収集データセットの両方に対して広範なテストが実施されます。
この結果は、大規模な環境でリアルタイムの高密度マッピングを可能にする、私たちのアプローチの優れた位置特定パフォーマンスを検証します。
コードはオープンソース化されています (https://github.com/GREAT-WHU/DBA-Fusion)。

要約(オリジナル)

Visual simultaneous localization and mapping (VSLAM) has broad applications, with state-of-the-art methods leveraging deep neural networks for better robustness and applicability. However, there is a lack of research in fusing these learning-based methods with multi-sensor information, which could be indispensable to push related applications to large-scale and complex scenarios. In this paper, we tightly integrate the trainable deep dense bundle adjustment (DBA) with multi-sensor information through a factor graph. In the framework, recurrent optical flow and DBA are performed among sequential images. The Hessian information derived from DBA is fed into a generic factor graph for multi-sensor fusion, which employs a sliding window and supports probabilistic marginalization. A pipeline for visual-inertial integration is firstly developed, which provides the minimum ability of metric-scale localization and mapping. Furthermore, other sensors (e.g., global navigation satellite system) are integrated for driftless and geo-referencing functionality. Extensive tests are conducted on both public datasets and self-collected datasets. The results validate the superior localization performance of our approach, which enables real-time dense mapping in large-scale environments. The code has been made open-source (https://github.com/GREAT-WHU/DBA-Fusion).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google