RGB-D Mapping and Tracking in a Plenoxel Radiance Field

要約

Neural Radiance Fields (NeRF) の成功に基づいて、近年、新しいビュー合成の分野で大きな進歩が見られました。
これらのモデルは、シーンの体積放射輝度フィールドをキャプチャし、シンプルで微分可能なレンダリング方程式を使用して、非常に説得力のある高密度のフォトリアリスティックなモデルを作成します。
その人気にもかかわらず、これらのアルゴリズムは、RGB センサーに固有の視覚データに重大な曖昧さがあるという問題に悩まされています。つまり、ビュー合成で生成された画像は視覚的に非常に信頼できるように見えますが、基礎となる 3D モデルが間違っていることがよくあります。
これにより、正確な高密度 3D 再構成が重要な価値を持つロボット工学や拡張現実 (XR) などの実際のアプリケーションにおけるこれらのモデルの有用性が大幅に制限されます。
この技術レポートでは、ビュー合成モデルと 3D 再構成モデ​​ルの重要な違いを紹介します。
また、新しいビュー合成手法の現在のパラダイムを使用して、一般的な外向きのシーンで正確なジオメトリをモデリングするために深度センサーが不可欠である理由についても説明します。
動きから構造を抽出するタスクに焦点を当て、Plenoxel の放射輝度フィールド モデルを拡張することで、このニーズを実際に実証します。ニューラル ネットワークを使用せずに、RGB-D データに基づいた放射輝度フィールドを使用した高密度マッピングと追跡のための分析的微分アプローチを提示します。
私たちの方法は、マッピングと追跡タスクの両方で最先端の結果を達成すると同時に、競合するニューラル ネットワーク ベースのアプローチよりも高速です。

要約(オリジナル)

Building on the success of Neural Radiance Fields (NeRFs), recent years have seen significant advances in the domain of novel view synthesis. These models capture the scene’s volumetric radiance field, creating highly convincing dense photorealistic models through the use of simple, differentiable rendering equations. Despite their popularity, these algorithms suffer from severe ambiguities in visual data inherent to the RGB sensor, which means that although images generated with view synthesis can visually appear very believable, the underlying 3D model will often be wrong. This considerably limits the usefulness of these models in practical applications like Robotics and Extended Reality (XR), where an accurate dense 3D reconstruction otherwise would be of significant value. In this technical report, we present the vital differences between view synthesis models and 3D reconstruction models. We also comment on why a depth sensor is essential for modeling accurate geometry in general outward-facing scenes using the current paradigm of novel view synthesis methods. Focusing on the structure-from-motion task, we practically demonstrate this need by extending the Plenoxel radiance field model: Presenting an analytical differential approach for dense mapping and tracking with radiance fields based on RGB-D data without a neural network. Our method achieves state-of-the-art results in both the mapping and tracking tasks while also being faster than competing neural network-based approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google