High-fidelity 3D Reconstruction of Plants using Neural Radiance Field

要約

植物表現型の正確な再構成は、精密農業 (PA) の分野で持続可能な農業実践を最適化する上で重要な役割を果たします。
現在、光学センサーベースのアプローチがこの分野で主流を占めていますが、構造化されていない農業環境における作物や植物の高忠実度の 3D 再構成の必要性は依然として困難です。
最近、神経密度場を利用する新しい方法である Neural Radiance Field (NeRF) の形で有望な開発が行われました。
この技術は、さまざまな新しい視覚合成タスクで優れたパフォーマンスを示していますが、農業分野では比較的未開発のままです。
私たちの研究では、植物の表現型解析における 2 つの基本的なタスク、(1) 2D の新規ビュー画像の合成、および (2) 作物および植物モデルの 3D 再構成に焦点を当てています。
私たちは、神経放射フィールドの世界、特に 2 つの SOTA 手法を探索します。1 つは、驚異的なトレーニングと推論速度で高品質の画像を生成することに優れた Instant-NGP であり、もう 1 つは、符号付き距離関数を組み込むことで再構成されたジオメトリを改善する Instant-NSR です。
（自衛隊）訓練中。
特に、生産環境からの実際の植物画像を含む新しい植物表現型データセットを提示します。
このデータセットは、農業分野における NeRF の利点と限界を包括的に調査することを目的とした、この種では初めての取り組みです。
私たちの実験結果は、NeRF が新しいビュー画像の合成において賞賛に値するパフォーマンスを示し、3D マルチビュー ステレオ (MVS) ベースの再構築用の主要な商用ソフトウェアである Reality Capture と競合する再構築結果を達成できることを示しています。
ただし、私たちの研究では、比較的遅いトレーニング速度、不十分なサンプリングの場合のパフォーマンスの制限、複雑なセットアップでジオメトリの品質を取得する際の課題など、NeRF の特定の欠点も強調しています。

要約(オリジナル)

Accurate reconstruction of plant phenotypes plays a key role in optimising sustainable farming practices in the field of Precision Agriculture (PA). Currently, optical sensor-based approaches dominate the field, but the need for high-fidelity 3D reconstruction of crops and plants in unstructured agricultural environments remains challenging. Recently, a promising development has emerged in the form of Neural Radiance Field (NeRF), a novel method that utilises neural density fields. This technique has shown impressive performance in various novel vision synthesis tasks, but has remained relatively unexplored in the agricultural context. In our study, we focus on two fundamental tasks within plant phenotyping: (1) the synthesis of 2D novel-view images and (2) the 3D reconstruction of crop and plant models. We explore the world of neural radiance fields, in particular two SOTA methods: Instant-NGP, which excels in generating high-quality images with impressive training and inference speed, and Instant-NSR, which improves the reconstructed geometry by incorporating the Signed Distance Function (SDF) during training. In particular, we present a novel plant phenotype dataset comprising real plant images from production environments. This dataset is a first-of-its-kind initiative aimed at comprehensively exploring the advantages and limitations of NeRF in agricultural contexts. Our experimental results show that NeRF demonstrates commendable performance in the synthesis of novel-view images and is able to achieve reconstruction results that are competitive with Reality Capture, a leading commercial software for 3D Multi-View Stereo (MVS)-based reconstruction. However, our study also highlights certain drawbacks of NeRF, including relatively slow training speeds, performance limitations in cases of insufficient sampling, and challenges in obtaining geometry quality in complex setups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google