Wheat3DGS: In-field 3D Reconstruction, Instance Segmentation and Phenotyping of Wheat Heads with Gaussian Splatting

要約

植物の形態学的特性の自動抽出は、ハイスループットフィールド表現型（HTFP）を通じて作物の繁殖と農業管理をサポートするために重要です。
マルチビューRGB画像に基づくソリューションは、スケーラビリティと手頃な価格のために魅力的であり、2Dアプローチが直接キャプチャできない体積測定を可能にします。
ニューラル放射輝度フィールド（NERF）のような高度な方法は有望であることが示されていますが、それらの適用は、少数の植物または臓器のみからの特性をカウントまたは抽出することに限定されています。
さらに、作物の収穫量を研究するための個々の小麦の頭のような複雑な構造を正確に測定し、閉塞と野外条件における作物天蓋の密な配置のために特に困難です。
3Dガウススプラッティング（3DGS）の最近の開発は、高品質の再構成と明示的なポイントベースの表現により、HTFPの有望な代替手段を提供します。
この論文では、3DGSとセグメントのすべてのモデル（SAM）を活用する新しいアプローチであるWheat3DGSを紹介します。
高解像度レーザースキャンデータに対する小麦ヘッド抽出の精度を検証し、帯域型ごとに15.1％、18.3％、および40.2％の絶対パーセンテージ誤差を平均して得ます。
NERFベースのアプローチと従来のMuti-Viewステレオ（MVS）との追加の比較を提供し、優れた結果を示します。
私たちのアプローチにより、大規模な主要な収量関連特性の迅速で非破壊的な測定が可能になり、作物の繁殖を加速し、小麦の発達の理解を改善することに大きな意味があります。

要約(オリジナル)

Automated extraction of plant morphological traits is crucial for supporting crop breeding and agricultural management through high-throughput field phenotyping (HTFP). Solutions based on multi-view RGB images are attractive due to their scalability and affordability, enabling volumetric measurements that 2D approaches cannot directly capture. While advanced methods like Neural Radiance Fields (NeRFs) have shown promise, their application has been limited to counting or extracting traits from only a few plants or organs. Furthermore, accurately measuring complex structures like individual wheat heads-essential for studying crop yields-remains particularly challenging due to occlusions and the dense arrangement of crop canopies in field conditions. The recent development of 3D Gaussian Splatting (3DGS) offers a promising alternative for HTFP due to its high-quality reconstructions and explicit point-based representation. In this paper, we present Wheat3DGS, a novel approach that leverages 3DGS and the Segment Anything Model (SAM) for precise 3D instance segmentation and morphological measurement of hundreds of wheat heads automatically, representing the first application of 3DGS to HTFP. We validate the accuracy of wheat head extraction against high-resolution laser scan data, obtaining per-instance mean absolute percentage errors of 15.1%, 18.3%, and 40.2% for length, width, and volume. We provide additional comparisons to NeRF-based approaches and traditional Muti-View Stereo (MVS), demonstrating superior results. Our approach enables rapid, non-destructive measurements of key yield-related traits at scale, with significant implications for accelerating crop breeding and improving our understanding of wheat development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google