要約
自律型ロボット（例：自動運転車、自律型ドローン）、3Dマッピングシステム、AR/VRアプリケーションにとって、同時定位・マッピング（SLAM）は極めて重要である。本研究では、R$^3$LIVE++と呼ばれる新しいLiDAR-慣性-視覚融合フレームワークを提案し、頑強で正確な状態推定を実現すると同時に、オンザフライで放射マップを再構築する。R$^3$LIVE++は、LiDAR-慣性オドメトリ（LIO）と視覚-慣性オドメトリ（VIO）で構成され、いずれもリアルタイムに動作します。LIOサブシステムは、LiDARからの計測値を幾何構造（3次元点の位置）の再構成に利用し、VIOサブシステムは、入力画像から幾何構造の放射光情報を同時に復元する。R$^3$LIVE++はR$^3$LIVEをベースに開発され、カメラの光量校正（非線形応答関数やレンズヴィネットなど）とカメラの露出時間のオンライン推定を考慮することにより、位置特定とマッピングにおける精度をさらに向上させることができる。我々は、提案システムを他の最先端SLAMシステムと比較するために、公開データセットと我々のプライベートデータセットの両方でより広範な実験を実施しました。定量的・定性的な結果から、提案方式は精度とロバスト性の両方において他方式より大きく改善されることが示された。さらに、本研究の拡張性を示すため、｛ハイダイナミックレンジ（HDR）イメージング、仮想環境探索、3Dビデオゲームなど、再構成した輝度マップに基づく複数のアプリケーションを開発｝しました。最後に、我々の研究成果を共有し、コミュニティに貢献するために、我々のコード、ハードウェア設計、データセットを我々のGithubで公開しています：github.com/hku-mars/r3live
要約(オリジナル)
Simultaneous localization and mapping (SLAM) are crucial for autonomous robots (e.g., self-driving cars, autonomous drones), 3D mapping systems, and AR/VR applications. This work proposed a novel LiDAR-inertial-visual fusion framework termed R$^3$LIVE++ to achieve robust and accurate state estimation while simultaneously reconstructing the radiance map on the fly. R$^3$LIVE++ consists of a LiDAR-inertial odometry (LIO) and a visual-inertial odometry (VIO), both running in real-time. The LIO subsystem utilizes the measurements from a LiDAR for reconstructing the geometric structure (i.e., the positions of 3D points), while the VIO subsystem simultaneously recovers the radiance information of the geometric structure from the input images. R$^3$LIVE++ is developed based on R$^3$LIVE and further improves the accuracy in localization and mapping by accounting for the camera photometric calibration (e.g., non-linear response function and lens vignetting) and the online estimation of camera exposure time. We conduct more extensive experiments on both public and our private datasets to compare our proposed system against other state-of-the-art SLAM systems. Quantitative and qualitative results show that our proposed system has significant improvements over others in both accuracy and robustness. In addition, to demonstrate the extendability of our work, {we developed several applications based on our reconstructed radiance maps, such as high dynamic range (HDR) imaging, virtual environment exploration, and 3D video gaming.} Lastly, to share our findings and make contributions to the community, we make our codes, hardware design, and dataset publicly available on our Github: github.com/hku-mars/r3live
arxiv情報
| 著者 | Jiarong Lin,Fu Zhang |
| 発行日 | 2022-09-08 09:26:20+00:00 |
| arxivサイト | arxiv_id(pdf) |