Eff-3DPSeg: 3D organ-level plant shoot segmentation using annotation-efficient point clouds

要約

信頼性の高い自動化された 3D 植物シュート セグメンテーションは、器官レベルで植物の表現型形質を抽出するための重要な前提条件です。
ディープ ラーニングと点群を組み合わせることで、この課題に効果的に対処できます。
ただし、完全に教師ありの深層学習手法では、データセットに点ごとに注釈を付ける必要があり、これには非常に費用と時間がかかります。
私たちの研究では、3D 植物シュート セグメンテーションのために、新しい弱教師付きフレームワーク Eff-3DPSeg を提案しました。
まず、低コストの写真測量システムを使用して大豆の高解像度点群を再構築し、植物点群注釈用に Meshlab ベースの Plant Annotator を開発しました。
第二に、植物器官のセグメンテーションのために、弱教師付き深層学習法が提案されました。
メソッドには次のものが含まれていました。
(2) 植物器官のセグメンテーションを実装するために、約 0.5% のポイントのみに注釈を付けて、事前トレーニング済みのモデルを微調整します。
その後、3 つの表現型形質 (茎の直径、葉の幅、葉の長さ) が抽出されました。
提案された方法の一般性をテストするために、公開データセット Pheno4D がこの研究に含まれていました。
実験結果は、完全に監視された設定と比較して、弱く監視されたネットワークが同様のセグメンテーション パフォーマンスを取得することを示しました。
私たちの方法は、茎の葉のセグメンテーションのPrecision、Recall、F1-score、およびmIoUで95.1％、96.6％、95.8％、および92.2％を達成し、AP、AP @ 25、およびAP @で53％、62.8％、および70.3％を達成しました
リーフ インスタンス セグメンテーションの場合は 50。
この研究は、植物育種家が選択プロセスを強化するのに役立つ3D植物アーキテクチャを特徴付けるための効果的な方法を提供します。

要約(オリジナル)

Reliable and automated 3D plant shoot segmentation is a core prerequisite for the extraction of plant phenotypic traits at the organ level. Combining deep learning and point clouds can provide effective ways to address the challenge. However, fully supervised deep learning methods require datasets to be point-wise annotated, which is extremely expensive and time-consuming. In our work, we proposed a novel weakly supervised framework, Eff-3DPSeg, for 3D plant shoot segmentation. First, high-resolution point clouds of soybean were reconstructed using a low-cost photogrammetry system, and the Meshlab-based Plant Annotator was developed for plant point cloud annotation. Second, a weakly-supervised deep learning method was proposed for plant organ segmentation. The method contained: (1) Pretraining a self-supervised network using Viewpoint Bottleneck loss to learn meaningful intrinsic structure representation from the raw point clouds; (2) Fine-tuning the pre-trained model with about only 0.5% points being annotated to implement plant organ segmentation. After, three phenotypic traits (stem diameter, leaf width, and leaf length) were extracted. To test the generality of the proposed method, the public dataset Pheno4D was included in this study. Experimental results showed that the weakly-supervised network obtained similar segmentation performance compared with the fully-supervised setting. Our method achieved 95.1%, 96.6%, 95.8% and 92.2% in the Precision, Recall, F1-score, and mIoU for stem leaf segmentation and 53%, 62.8% and 70.3% in the AP, AP@25, and AP@50 for leaf instance segmentation. This study provides an effective way for characterizing 3D plant architecture, which will become useful for plant breeders to enhance selection processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google