RGB-D Mapping and Tracking in a Plenoxel Radiance Field

要約

Neural Radiance Fields (NeRF) の広範な採用により、近年、新しいビュー合成の分野で大きな進歩が確実になりました。
これらのモデルは、シーンの体積放射輝度フィールドをキャプチャし、単純で微分可能なレンダリング方程式を使用して、説得力があり、緻密でフォトリアリスティックなモデルを作成します。
その人気にもかかわらず、これらのアルゴリズムは、RGB センサーに固有の視覚データに重大な曖昧さがあるという問題に悩まされています。つまり、ビュー合成で生成された画像は視覚的に非常に信頼できるように見えますが、基礎となる 3D モデルが間違っていることがよくあります。
これにより、正確な高密度 3D 再構成が重要な価値を持つロボット工学や拡張現実 (XR) などの実際のアプリケーションにおけるこれらのモデルの有用性が大幅に制限されます。
この論文では、ビュー合成モデルと 3D 再構成モデ​​ルの重要な違いを示します。
また、新しいビュー合成手法の現在のパラダイムを使用して、一般的な外向きのシーンで正確なジオメトリをモデリングするために深度センサーが不可欠である理由についても説明します。
動きから構造を抽出するタスクに焦点を当て、Plenoxel の放射輝度フィールド モデルを拡張することで、このニーズを実際に実証します。ニューラル ネットワークを使用せずに、RGB-D データに基づいた放射輝度フィールドを使用した高密度マッピングと追跡のための分析的微分アプローチを提示します。
私たちの方法は、マッピングと追跡タスクの両方で最先端の結果を達成すると同時に、競合するニューラル ネットワーク ベースのアプローチよりも高速です。
コードは https://github.com/ysus33/RGB-D_Plenoxel_Mapping_Tracking.git で入手できます。

要約(オリジナル)

The widespread adoption of Neural Radiance Fields (NeRFs) have ensured significant advances in the domain of novel view synthesis in recent years. These models capture a volumetric radiance field of a scene, creating highly convincing, dense, photorealistic models through the use of simple, differentiable rendering equations. Despite their popularity, these algorithms suffer from severe ambiguities in visual data inherent to the RGB sensor, which means that although images generated with view synthesis can visually appear very believable, the underlying 3D model will often be wrong. This considerably limits the usefulness of these models in practical applications like Robotics and Extended Reality (XR), where an accurate dense 3D reconstruction otherwise would be of significant value. In this paper, we present the vital differences between view synthesis models and 3D reconstruction models. We also comment on why a depth sensor is essential for modeling accurate geometry in general outward-facing scenes using the current paradigm of novel view synthesis methods. Focusing on the structure-from-motion task, we practically demonstrate this need by extending the Plenoxel radiance field model: Presenting an analytical differential approach for dense mapping and tracking with radiance fields based on RGB-D data without a neural network. Our method achieves state-of-the-art results in both mapping and tracking tasks, while also being faster than competing neural network-based approaches. The code is available at: https://github.com/ysus33/RGB-D_Plenoxel_Mapping_Tracking.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google