要約
我々はDDN-SLAMを提案する。DDN-SLAMは、動的なシーンのために設計されたリアルタイムの密なニューラル暗黙的SLAMシステムである。既存のニューラル暗黙的SLAMシステムは静的なシーンでは良好に動作するが、動的な干渉がある実環境ではしばしば課題に遭遇し、効果的な追跡とマッピングができない。DDN-SLAMは、ディープセマンティックシステムによって提供される事前分布を、条件付き確率場と組み合わせてセグメンテーションに利用する。深度ガイド付き静的マスクを構築し、ジョイントマルチレゾリューションハッシングエンコーディングを採用することで、動的な情報干渉の影響を緩和しつつ、高速な穴埋めと高品質なマッピングを保証する。追跡のロバスト性を高めるために、オプティカルフローとキーフレームで検証された疎な特徴点を利用し、ループ閉鎖の検出と大域的なバンドルの最適化を可能にする。さらに、DDN-SLAMは単眼、ステレオ、RGB-D入力をサポートし、20-30Hzの周波数で頑健に動作する。6つの仮想／実データセットを用いた広範な実験により、本手法が動的シーンと静的シーンの両方において、最先端のアプローチを凌駕することが実証された。
要約(オリジナル)
We propose DDN-SLAM, a real-time dense neural implicit semantic SLAM system designed for dynamic scenes. While existing neural implicit SLAM systems perform well in static scenes, they often encounter challenges in real-world environments with dynamic interferences, leading to ineffective tracking and mapping. DDN-SLAM utilizes the priors provided by the deep semantic system, combined with conditional probability fields, for segmentation.By constructing depth-guided static masks and employing joint multi-resolution hashing encoding, we ensure fast hole filling and high-quality mapping while mitigating the effects of dynamic information interference. To enhance tracking robustness, we utilize sparse feature points validated with optical flow and keyframes, enabling loop closure detection and global bundle optimization. Furthermore, DDN-SLAM supports monocular, stereo, and RGB-D inputs, operating robustly at a frequency of 20-30Hz. Extensive experiments on 6 virtual/real datasets demonstrate that our method outperforms state-of-the-art approaches in both dynamic and static scenes.
arxiv情報
| 著者 | Mingrui Li,Jiaming He,Guangan Jiang,Hongyu Wang |
| 発行日 | 2024-01-03 05:42:17+00:00 |
| arxivサイト | arxiv_id(pdf) |