Sensing-based Robustness Challenges in Agricultural Robotic Harvesting

要約

このペーパーでは、さまざまな環境障害の下で果物を検出およびローカライズする際に農業ロボットハーベイターが直面する課題を紹介します。
制御された実験室の設定では、従来のHSV（色相飽和値）変換とYolov8（1回しか見ていない）の深い学習モデルの両方が採用されました。
ただし、HSVの変換は果物の輪郭を正確に描くことができなかったため、Yolov8のみが屋外実験で利用されました。
実験には、6つのリンゴと6つのオレンジを備えた10の異なる果物パターンが含まれます。
ホモグラフィー（展望）変換のグリッド構造が使用され、検出された中間点を3D世界座標に変換しました。
この実験では、さまざまな照明や背景障害の下での検出と局在を評価し、屋内で正確なパフォーマンスを明らかにしましたが、屋外での重要な課題があります。
我々の結果は、Yolov8を使用した屋内実験が100％の検出精度を達成し、屋外条件がパフォーマンスを低下させ、直射日光下のYolov8の平均精度は69.15％であることを示しています。
この研究は、現実世界のアプリケーションが、照明の変化、背景障害、色と形状のばらつきの変化による大きな制限を明らかにすることを示しています。
これらの調査結果は、農業用のロボットハーベスターの堅牢性を高めるために、アルゴリズムとセンサーのさらなる改良の必要性を強調しています。

要約(オリジナル)

This paper presents the challenges agricultural robotic harvesters face in detecting and localising fruits under various environmental disturbances. In controlled laboratory settings, both the traditional HSV (Hue Saturation Value) transformation and the YOLOv8 (You Only Look Once) deep learning model were employed. However, only YOLOv8 was utilised in outdoor experiments, as the HSV transformation was not capable of accurately drawing fruit contours. Experiments include ten distinct fruit patterns with six apples and six oranges. A grid structure for homography (perspective) transformation was employed to convert detected midpoints into 3D world coordinates. The experiments evaluated detection and localisation under varying lighting and background disturbances, revealing accurate performance indoors, but significant challenges outdoors. Our results show that indoor experiments using YOLOv8 achieved 100% detection accuracy, while outdoor conditions decreased performance, with an average accuracy of 69.15% for YOLOv8 under direct sunlight. The study demonstrates that real-world applications reveal significant limitations due to changing lighting, background disturbances, and colour and shape variability. These findings underscore the need for further refinement of algorithms and sensors to enhance the robustness of robotic harvesters for agricultural use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google