Vox-Fusion: Dense Tracking and Mapping with Voxel-based Neural Implicit Representation

要約

本研究では、Vox-Fusionと名付けられた、神経暗黙表現と従来の体積融合法をシームレスに融合させた密な追跡・マッピングシステムを紹介する。我々のアプローチは、最近開発された暗黙のマッピングと位置決めシステムに触発され、そのアイデアをさらに拡張して、実用的なシナリオに自由に適用できるようにしたものである。具体的には、ボクセルベースのニューラル暗黙面表現を活用し、各ボクセル内のシーンをエンコードして最適化します。さらに、シーンを分割するためにオクトリー構造を採用し、動的な拡張をサポートすることで、従来の作品のように環境を知ることなく、任意のシーンを追跡しマッピングすることを可能にしました。さらに、本手法を高速化するために高性能なマルチプロセスフレームワークを提案し、リアルタイム性が要求されるアプリケーションに対応しました。評価結果は、我々の手法が従来の手法よりも高い精度と完全性を達成できることを示しています。また、我々のVox-Fusionが拡張現実や仮想現実のアプリケーションで使用できることも示している。我々のソースコードは、https://github.com/zju3dv/Vox-Fusion で公開されています。

要約(オリジナル)

In this work, we present a dense tracking and mapping system named Vox-Fusion, which seamlessly fuses neural implicit representations with traditional volumetric fusion methods. Our approach is inspired by the recently developed implicit mapping and positioning system and further extends the idea so that it can be freely applied to practical scenarios. Specifically, we leverage a voxel-based neural implicit surface representation to encode and optimize the scene inside each voxel. Furthermore, we adopt an octree-based structure to divide the scene and support dynamic expansion, enabling our system to track and map arbitrary scenes without knowing the environment like in previous works. Moreover, we proposed a high-performance multi-process framework to speed up the method, thus supporting some applications that require real-time performance. The evaluation results show that our methods can achieve better accuracy and completeness than previous methods. We also show that our Vox-Fusion can be used in augmented reality and virtual reality applications. Our source code is publicly available at https://github.com/zju3dv/Vox-Fusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL