SimpleMapping: Real-Time Visual-Inertial Dense Mapping with Deep Multi-View Stereo

要約

我々は、連続した単眼画像と慣性測定装置（IMU）の読み取りのみを使用して、高品質の増分3Dメッシュ再構成を実行できるリアルタイムの視覚慣性高密度マッピング方法を提案します。
6-DoF カメラのポーズは、堅牢なフィーチャベースの視覚慣性オドメトリ (VIO) によって推定され、副産物としてノイズの多いまばらな 3D マップ ポイントも生成されます。
我々は、VIO システムからの有益だがノイズの多い疎点を効果的に活用できる疎点支援マルチビュー ステレオ ニューラル ネットワーク (SPA-MVSNet) を提案します。
VIO からのスパース深度は、まずシングルビュー深度補完ネットワークによって補完されます。
この高密度深度マップは、当然のことながら精度に制限がありますが、コスト ボリュームの生成と正則化において MVS ネットワークをガイドする事前マップとして使用され、正確な高密度深度予測が行われます。
MVS ネットワークによって予測されたキーフレーム イメージの深度マップは、TSDF-Fusion を使用してグローバル マップに段階的に融合されます。
私たちは、提案されている SPA-MVSNet と視覚慣性密マッピング システム全体の両方を、いくつかの公開データセットと独自のデータセット上で広範囲に評価し、システムの優れた一般化機能と、高品質の 3D メッシュ再構成をオンラインで提供する機能を実証しています。
私たちが提案する高密度マッピング システムは、EuRoC データセットの困難なシナリオで評価した場合、既存のシステムと比較して F スコアが 39.7% 向上しました。
この作品のコードは受理され次第公開する予定です。

要約(オリジナル)

We present a real-time visual-inertial dense mapping method capable of performing incremental 3D mesh reconstruction with high quality using only sequential monocular images and inertial measurement unit (IMU) readings. 6-DoF camera poses are estimated by a robust feature-based visual-inertial odometry (VIO), which also generates noisy sparse 3D map points as a by-product. We propose a sparse point aided multi-view stereo neural network (SPA-MVSNet) that can effectively leverage the informative but noisy sparse points from the VIO system. The sparse depth from VIO is firstly completed by a single-view depth completion network. This dense depth map, although naturally limited in accuracy, is then used as a prior to guide our MVS network in the cost volume generation and regularization for accurate dense depth prediction. Predicted depth maps of keyframe images by the MVS network are incrementally fused into a global map using TSDF-Fusion. We extensively evaluate both the proposed SPA-MVSNet and the entire visual-inertial dense mapping system on several public datasets as well as our own dataset, demonstrating the system’s impressive generalization capabilities and its ability to deliver high-quality 3D mesh reconstruction online. Our proposed dense mapping system achieves a 39.7% improvement in F-score over existing systems when evaluated on the challenging scenarios of the EuRoC dataset. We plan to release the code of this work upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google