Evaluating Neural Radiance Fields (NeRFs) for 3D Plant Geometry Reconstruction in Field Conditions

要約

私たちは、屋内環境から屋外フィールドまで、さまざまな環境で植物を 3D 再構成するためのさまざまな Neural Radiance Fields (NeRF) 技術を評価します。
従来の方法では通常、表現型解析や育種研究にとって重要な植物の複雑な幾何学的詳細を捉えることができません。
複雑さを増す 3 つのシナリオで NeRF の再構成忠実度を評価し、その結果をグランド トゥルースとして LiDAR を使用して取得された点群と比較します。
最も現実的なフィールド シナリオでは、GPU での 30 分間のトレーニング後に NeRF モデルは 74.6% の F1 スコアを達成し、困難な環境での 3D 再構築に対する NeRF の有効性を強調しています。
さらに、平均 F1 スコアの 7.4% の削減のみを達成しながら、トレーニング時間をほぼ半分にする NeRF トレーニングの早期停止手法を提案します。
この最適化プロセスにより、NeRF を使用した 3D 再構成の速度と効率が大幅に向上します。
私たちの発見は、詳細かつ現実的な 3D 植物再構築における NeRF の可能性を実証し、3D 再構築プロセスにおける NeRF の速度と効率を向上させるための実用的なアプローチを示唆しています。

要約(オリジナル)

We evaluate different Neural Radiance Fields (NeRFs) techniques for the 3D reconstruction of plants in varied environments, from indoor settings to outdoor fields. Traditional methods usually fail to capture the complex geometric details of plants, which is crucial for phenotyping and breeding studies. We evaluate the reconstruction fidelity of NeRFs in three scenarios with increasing complexity and compare the results with the point cloud obtained using LiDAR as ground truth. In the most realistic field scenario, the NeRF models achieve a 74.6% F1 score after 30 minutes of training on the GPU, highlighting the efficacy of NeRFs for 3D reconstruction in challenging environments. Additionally, we propose an early stopping technique for NeRF training that almost halves the training time while achieving only a reduction of 7.4% in the average F1 score. This optimization process significantly enhances the speed and efficiency of 3D reconstruction using NeRFs. Our findings demonstrate the potential of NeRFs in detailed and realistic 3D plant reconstruction and suggest practical approaches for enhancing the speed and efficiency of NeRFs in the 3D reconstruction process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google