Multi-vision-based Picking Point Localisation of Target Fruit for Harvesting Robots

要約

このペーパーでは、ロボットを収穫するためのマルチビジョンベースのローカリゼーション戦略を紹介します。
不安定な把握が果物の損傷や減少を通じて経済的損失につながる可能性があるため、ピッキングポイントを正確に特定することは不可欠です。
この研究では、2つのマルチビジョンベースのローカリゼーション方法、つまり分析アプローチとモデルベースのアルゴリズムが採用されました。
フルーツの実際の幾何学的中心点は、モーションキャプチャシステム（MOCAP）を使用して収集され、2つの異なる表面点CFIXとCEIHを2つの赤緑色の青床（RGB-D）カメラを使用して抽出しました。
最初に、ターゲットフルーツのピッキングポイントは、分析方法を使用して検出されました。
第二に、表面点を入力として取得することにより、ターゲット果物の幾何学的中心を予測するために、さまざまなプライマリおよびアンサンブル学習方法が採用されました。
最も成功したモデルベースのローカリゼーションアルゴリズムであるAdaboost Regressionは、平均ユークリッド距離（MED）4.40 mmで88.8％の収穫精度を達成しましたが、分析的アプローチは14.25 mmのMEDで81.4％のピッキング成功に達しました。
シングルカメラは、24.02 mmのMEDで77.7％のピッキング成功率がありました。
果物の収集におけるポイントの精度をピッキングする効果を評価するために、共同ロボット（コボット）を使用して一連のロボット収穫実験を実行しました。
マルチビジョンシステムは、ピッキングポイントのローカリゼーションを改善し、ロボット収穫でのピッキングの成功率が高くなることが示されています。

要約(オリジナル)

This paper presents multi-vision-based localisation strategies for harvesting robots. Identifying picking points accurately is essential for robotic harvesting because insecure grasping can lead to economic loss through fruit damage and dropping. In this study, two multi-vision-based localisation methods, namely the analytical approach and model-based algorithms, were employed. The actual geometric centre points of fruits were collected using a motion capture system (mocap), and two different surface points Cfix and Ceih were extracted using two Red-Green-Blue-Depth (RGB-D) cameras. First, the picking points of the target fruit were detected using analytical methods. Second, various primary and ensemble learning methods were employed to predict the geometric centre of target fruits by taking surface points as input. Adaboost regression, the most successful model-based localisation algorithm, achieved 88.8% harvesting accuracy with a Mean Euclidean Distance (MED) of 4.40 mm, while the analytical approach reached 81.4% picking success with a MED of 14.25 mm, both demonstrating better performance than the single-camera, which had a picking success rate of 77.7% with a MED of 24.02 mm. To evaluate the effect of picking point accuracy in collecting fruits, a series of robotic harvesting experiments were performed utilising a collaborative robot (cobot). It is shown that multi-vision systems can improve picking point localisation, resulting in higher success rates of picking in robotic harvesting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google