iDF-SLAM: End-to-End RGB-D SLAM with Neural Implicit Mapping and Deep Feature Tracking

要約

フロントエンドとして機能ベースのディープ ニューラル トラッカーを採用し、バックエンドとして NeRF スタイルのニューラル インプリシット マッパーを採用する、新しいエンドツーエンドの RGB-D SLAM、iDF-SLAM を提案します。
ニューラル インプリシット マッパーはオンザフライでトレーニングされますが、ニューラル トラッカーは ScanNet データセットで事前トレーニングされますが、ニューラル インプリシット マッパーのトレーニングと共に微調整も行われます。
このような設計の下で、当社の iDF-SLAM は、カメラ追跡にシーン固有の機能を使用することを学習できるため、SLAM システムの生涯学習が可能になります。
トラッカーとマッパーの両方のトレーニングは、グラウンド トゥルース ポーズを導入することなく自己監視されます。
Replica および ScanNet データセットで iDF-SLAM のパフォーマンスをテストし、その結果を最近の 2 つの NeRF ベースのニューラル SLAM システムと比較します。
提案された iDF-SLAM は、シーンの再構成とカメラ追跡における競争力の面で最先端の結果を示しています。

要約(オリジナル)

We propose a novel end-to-end RGB-D SLAM, iDF-SLAM, which adopts a feature-based deep neural tracker as the front-end and a NeRF-style neural implicit mapper as the back-end. The neural implicit mapper is trained on-the-fly, while though the neural tracker is pretrained on the ScanNet dataset, it is also finetuned along with the training of the neural implicit mapper. Under such a design, our iDF-SLAM is capable of learning to use scene-specific features for camera tracking, thus enabling lifelong learning of the SLAM system. Both the training for the tracker and the mapper are self-supervised without introducing ground truth poses. We test the performance of our iDF-SLAM on the Replica and ScanNet datasets and compare the results to the two recent NeRF-based neural SLAM systems. The proposed iDF-SLAM demonstrates state-of-the-art results in terms of scene reconstruction and competitive performance in camera tracking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google