Segment Anything for comprehensive analysis of grapevine cluster architecture and berry properties

要約

ブドウの房の構造と緻密さは、病気のかかりやすさ、果実の品質、収量に影響を与える複雑な形質です。
これらの特性の評価方法には、視覚的なスコアリング、手動による方法論、およびコンピューター ビジョンが含まれます。後者が最も拡張性の高いアプローチです。
クラスター画像を処理するための既存のコンピューター ビジョン アプローチのほとんどは、広範なトレーニングと限られた一般化を伴う従来のセグメンテーションまたは機械学習に依存することがよくあります。
大規模な画像データセットでトレーニングされた新しい基礎モデルであるセグメント エニシング モデル (SAM) により、追加のトレーニングなしで自動オブジェクト セグメンテーションが可能になります。
この研究は、2D クラスター画像内の個々のベリーを識別する際の、すぐに使える SAM の高い精度を実証しています。
このモデルを使用して、約 3,500 のクラスター画像をセグメント化し、150,000 を超えるベリー マスクを生成することに成功しました。各マスクはクラスター内の空間座標に関連付けられています。
人間が特定したベリー類と SAM 予測との相関関係は非常に強かったです (ピアソン r2=0.96)。
通常、画像内の目に見えるベリー数は、可視性の問題により実際のクラスター ベリー数を過小評価しますが、この不一致は線形回帰モデル (調整済み R2=0.87) を使用して調整できることを実証しました。
私たちは、クラスターを画像化する角度が非常に重要であることを強調し、それがベリーの数と構造に大きな影響を与えることに注目しました。
私たちは、ベリーの位置情報によってクラスターのアーキテクチャとコンパクトさに関連する複雑な特徴の計算を容易にするさまざまなアプローチを提案しました。
最後に、ブドウ畑の条件下での画像生成と処理のために現在利用可能なパイプラインへの SAM の統合の可能性について説明しました。

要約(オリジナル)

Grape cluster architecture and compactness are complex traits influencing disease susceptibility, fruit quality, and yield. Evaluation methods for these traits include visual scoring, manual methodologies, and computer vision, with the latter being the most scalable approach. Most of the existing computer vision approaches for processing cluster images often rely on conventional segmentation or machine learning with extensive training and limited generalization. The Segment Anything Model (SAM), a novel foundation model trained on a massive image dataset, enables automated object segmentation without additional training. This study demonstrates out-of-the-box SAM’s high accuracy in identifying individual berries in 2D cluster images. Using this model, we managed to segment approximately 3,500 cluster images, generating over 150,000 berry masks, each linked with spatial coordinates within their clusters. The correlation between human-identified berries and SAM predictions was very strong (Pearson r2=0.96). Although the visible berry count in images typically underestimates the actual cluster berry count due to visibility issues, we demonstrated that this discrepancy could be adjusted using a linear regression model (adjusted R2=0.87). We emphasized the critical importance of the angle at which the cluster is imaged, noting its substantial effect on berry counts and architecture. We proposed different approaches in which berry location information facilitated the calculation of complex features related to cluster architecture and compactness. Finally, we discussed SAM’s potential integration into currently available pipelines for image generation and processing in vineyard conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google