CropCraft: Inverse Procedural Modeling for 3D Reconstruction of Crop Plants

要約

画像から植物の 3D デジタル ツインを自動的に構築する機能は、農業、環境科学、ロボット工学、その他の分野で数え切れないほど応用されています。
しかし、現在の 3D 再構成方法では、重度のオクルージョンと複雑な形状のため、植物の完全な形状を復元することはできません。
この研究では、逆手続きモデリングによる植物形態のパラメトリック モデルの最適化に基づいた、農作物の 3D 再構成のための新しい方法を紹介します。
私たちの方法では、最初に神経放射フィールドをフィッティングすることによって深度マップを推定し、次にベイジアン最適化を使用して、一貫した深度レンダリングをもたらす植物の形態学的パラメーターを推定します。
結果として得られる 3D モデルは完全で、生物学的に妥当なものです。
私たちは、農地の実際の画像のデータセットでこの方法を検証し、再構成がさまざまな監視およびシミュレーション アプリケーションに使用できることを示します。

要約(オリジナル)

The ability to automatically build 3D digital twins of plants from images has countless applications in agriculture, environmental science, robotics, and other fields. However, current 3D reconstruction methods fail to recover complete shapes of plants due to heavy occlusion and complex geometries. In this work, we present a novel method for 3D reconstruction of agricultural crops based on optimizing a parametric model of plant morphology via inverse procedural modeling. Our method first estimates depth maps by fitting a neural radiance field and then employs Bayesian optimization to estimate plant morphological parameters that result in consistent depth renderings. The resulting 3D model is complete and biologically plausible. We validate our method on a dataset of real images of agricultural fields, and demonstrate that the reconstructions can be used for a variety of monitoring and simulation applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google