Immature Green Apple Detection and Sizing in Commercial Orchards using YOLOv8 and Shape Fitting Techniques

要約

成長の初期段階でリンゴのサイズを検出して推定することは、収量の予測、害虫管理、作物負荷管理、収穫と収穫後の物流、マーケティングに関連する情報に基づいた意思決定を行うために非常に重要です。
従来の果実の大きさの測定方法は、手間と時間がかかります。
この研究では、最先端の YOLOv8 オブジェクト検出およびインスタンス セグメンテーション アルゴリズムと、3D 点群データの幾何学的形状フィッティング技術を組み合わせて、商業果樹園環境における未熟な青リンゴ (または小果) のサイズを正確に決定します。
この手法では、Intel RealSense D435i と Microsoft Azure Kinect DK の 2 つの RGB-D センサーを利用しました。
特に、YOLOv8 インスタンス セグメンテーション モデルは未熟な青リンゴの検出に優れており、YOLOv8m セグメント モデルはそれぞれ 0.94 と 0.91 という最高の AP@0.5 スコアと AP@0.75 スコアを達成しました。
Azure Kinect からの画像に楕円体フィッティング手法を使用して、リンゴの子実のサイズを推定する際に、RMSE 2.35 mm、MAE 1.66 mm、MAPE 6.15 mm、R 二乗値 0.9 を達成しました。
部分的なオクルージョンなどの課題により、YOLOv8 ベースのセグメンテーション技術を使用して青リンゴの輪郭を正確に描写し、サイズを決定する際、特に果物の房でエラーが発生しました。
102 個の屋外サンプルとの比較では、サイズ推定手法は、Intel Realsense D435i で取得した画像よりも Microsoft Azure Kinect で取得した画像の方が優れたパフォーマンスを発揮しました。
この優位性は、RMSE 値 (Azure Kinect の 2.35 mm 対 Realsense D435i の 9.65 mm)、MAE 値 (Azure Kinect の 1.66 mm 対 Realsense D435i の 7.8 mm)、および R 二乗値 (
Azure Kinect の場合は 0.9、Realsense D435i の場合は 0.77)。

要約(オリジナル)

Detecting and estimating size of apples during the early stages of growth is crucial for predicting yield, pest management, and making informed decisions related to crop-load management, harvest and post-harvest logistics, and marketing. Traditional fruit size measurement methods are laborious and timeconsuming. This study employs the state-of-the-art YOLOv8 object detection and instance segmentation algorithm in conjunction with geometric shape fitting techniques on 3D point cloud data to accurately determine the size of immature green apples (or fruitlet) in a commercial orchard environment. The methodology utilized two RGB-D sensors: Intel RealSense D435i and Microsoft Azure Kinect DK. Notably, the YOLOv8 instance segmentation models exhibited proficiency in immature green apple detection, with the YOLOv8m-seg model achieving the highest AP@0.5 and AP@0.75 scores of 0.94 and 0.91, respectively. Using the ellipsoid fitting technique on images from the Azure Kinect, we achieved an RMSE of 2.35 mm, MAE of 1.66 mm, MAPE of 6.15 mm, and an R-squared value of 0.9 in estimating the size of apple fruitlets. Challenges such as partial occlusion caused some error in accurately delineating and sizing green apples using the YOLOv8-based segmentation technique, particularly in fruit clusters. In a comparison with 102 outdoor samples, the size estimation technique performed better on the images acquired with Microsoft Azure Kinect than the same with Intel Realsense D435i. This superiority is evident from the metrics: the RMSE values (2.35 mm for Azure Kinect vs. 9.65 mm for Realsense D435i), MAE values (1.66 mm for Azure Kinect vs. 7.8 mm for Realsense D435i), and the R-squared values (0.9 for Azure Kinect vs. 0.77 for Realsense D435i).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google