FlyNeRF: NeRF-Based Aerial Mapping for High-Quality 3D Scene Reconstruction

要約

3D 再構築と環境マッピングの現在の方法は、高精度を達成する上で課題に頻繁に直面しており、実用的で効果的なソリューションの必要性が浮き彫りになっています。
この問題に対応して、私たちの研究では、高品質の 3D 再構成のために Neural Radiance Fields (NeRF) とドローンベースのデータ収集を統合したシステムである FlyNeRF を導入しました。
画像と対応する空間座標をキャプチャするために無人航空機 (UAV) を利用し、取得されたデータはその後、最初の NeRF ベースの環境の 3D 再構成に使用されます。
再構成レンダリング品質のさらなる評価は、システムの範囲内で開発された画像評価ニューラル ネットワークによって実行されます。
画像評価モジュールの結果に応じて、自律アルゴリズムが追加の画像キャプチャの位置を決定し、それにより再構成の品質が向上します。
レンダリング品質評価のために導入されたニューラル ネットワークは、97% の精度を実証しました。
さらに、当社の適応手法により全体的な再構成品質が向上し、10% 分位数のピーク信号対雑音比 (PSNR) が平均 2.5 dB 向上しました。
FlyNeRF は有望な結果を示し、高忠実度の 3D 再構成が重要である環境モニタリング、監視、デジタル ツインなどの分野で進歩をもたらします。

要約(オリジナル)

Current methods for 3D reconstruction and environmental mapping frequently face challenges in achieving high precision, highlighting the need for practical and effective solutions. In response to this issue, our study introduces FlyNeRF, a system integrating Neural Radiance Fields (NeRF) with drone-based data acquisition for high-quality 3D reconstruction. Utilizing unmanned aerial vehicle (UAV) for capturing images and corresponding spatial coordinates, the obtained data is subsequently used for the initial NeRF-based 3D reconstruction of the environment. Further evaluation of the reconstruction render quality is accomplished by the image evaluation neural network developed within the scope of our system. According to the results of the image evaluation module, an autonomous algorithm determines the position for additional image capture, thereby improving the reconstruction quality. The neural network introduced for render quality assessment demonstrates an accuracy of 97%. Furthermore, our adaptive methodology enhances the overall reconstruction quality, resulting in an average improvement of 2.5 dB in Peak Signal-to-Noise Ratio (PSNR) for the 10% quantile. The FlyNeRF demonstrates promising results, offering advancements in such fields as environmental monitoring, surveillance, and digital twins, where high-fidelity 3D reconstructions are crucial.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google