NeurAR: Neural Uncertainty for Autonomous 3D Reconstruction with Implicit Neural Representations

要約

陰的神経表現は、オフライン3D再構成において説得力のある結果を示し、また最近ではオンラインSLAMシステムの可能性を示しています。しかし、ロボットがシーンを探索し、再構成のためのビューパスを計画することが求められる自律的な3D再構成への応用は、これまで研究されてこなかった。本論文では、2つの重要な課題に取り組むことで、自律的な3Dシーン再構成のための暗黙の神経表現の使用可能性を初めて探る。1) 新しい表現に基づくビュープランニングのための視点候補の品質を測定する基準を求めること、2) 手作りの基準ではなく、異なるシーンに汎化できるデータからその基準を学習すること。この課題を解決するために、まず、視点品質を定量化するために、ピーク信号対雑音比（PSNR）の代理を提案し、次に、その代理とシーンに対する陰的ニューラルネットワークのパラメータを共同で最適化する。提案したニューラルネットワークによる視点品質の基準（Neural Uncertaintyと呼ぶ）を用いて、陰的表現を自律的な3D再構成に適用することができる。本手法は、TSDFやビュープランニングを用いない再構成と比較して、レンダリング画像の品質や再構成された3Dモデルのジオメトリの品質に関する様々な指標において著しい改善を示しています。プロジェクトのウェブページ https://kingteeloki-ran.github.io/NeurAR/

要約(オリジナル)

Implicit neural representations have shown compelling results in offline 3D reconstruction and also recently demonstrated the potential for online SLAM systems. However, applying them to autonomous 3D reconstruction, where a robot is required to explore a scene and plan a view path for the reconstruction, has not been studied. In this paper, we explore for the first time the possibility of using implicit neural representations for autonomous 3D scene reconstruction by addressing two key challenges: 1) seeking a criterion to measure the quality of the candidate viewpoints for the view planning based on the new representations, and 2) learning the criterion from data that can generalize to different scenes instead of a hand-crafting one. To solve the challenges, firstly, a proxy of Peak Signal-to-Noise Ratio (PSNR) is proposed to quantify a viewpoint quality; secondly, the proxy is optimized jointly with the parameters of an implicit neural network for the scene. With the proposed view quality criterion from neural networks (termed as Neural Uncertainty), we can then apply implicit representations to autonomous 3D reconstruction. Our method demonstrates significant improvements on various metrics for the rendered image quality and the geometry quality of the reconstructed 3D models when compared with variants using TSDF or reconstruction without view planning. Project webpage https://kingteeloki-ran.github.io/NeurAR/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL