Advancement and Field Evaluation of a Dual-arm Apple Harvesting Robot

要約

リンゴは、世界で最も広く消費されている果物の1つです。
現在、リンゴの収穫は肉体労働に完全に依存しています。これは、費用がかかり、dr屈で、労働者にとって危険です。
したがって、ロボットの収穫は近年、注目を集めています。
ただし、既存のシステムは、複雑な果樹園環境のパフォーマンス、有効性、信頼性の点でまだ不十分です。
この作業では、デュアルアーム収穫ロボットの開発と評価を提示します。
このシステムは、TOFカメラ、2つの4DOFロボットアーム、集中型真空システム、および収穫後の取り扱いモジュールを統合します。
収穫中、吸引力は真空システムを介してどちらの腕にも動的に割り当てられ、電力消費と騒音を減らしながら効率的なリンゴ剥離を可能にします。
以前のデザインと比較して、私たちは、内外調整とアップダウンの両方の調整を可能にするプラットフォーム運動メカニズムを組み込み、ロボットの器用さとさまざまなキャノピー構造への適応性を高めました。
アルゴリズム側では、基礎モデルベースの検出器、セグメンテーション、およびクラスタリングベースの深さ推定を組み合わせた堅牢なAppleローカリゼーションパイプラインを開発し、果樹園のパフォーマンスを向上させました。
さらに、圧力センサーがシステムに統合され、センサーフィードバックに基づいて収穫障害に応答するために、新しいデュアルアーム調整戦略が導入され、ピッキング効率がさらに向上しました。
フィールドデモは、米国ミシガン州の2つの商業果樹園で行われ、異なる天蓋構造がありました。
このシステムは0.807と0.797の成功率を達成し、平均ピッキングサイクル時間は5.97秒でした。
提案された戦略は、単腕のベースラインと比較して、収穫時間を28％短縮しました。
デュアルアーム収穫ロボットは、アップルピッキングの信頼性と効率を向上させます。
さらなる進歩により、このシステムは、Apple業界の自律的な運用と商業化の強力な可能性を秘めています。

要約(オリジナル)

Apples are among the most widely consumed fruits worldwide. Currently, apple harvesting fully relies on manual labor, which is costly, drudging, and hazardous to workers. Hence, robotic harvesting has attracted increasing attention in recent years. However, existing systems still fall short in terms of performance, effectiveness, and reliability for complex orchard environments. In this work, we present the development and evaluation of a dual-arm harvesting robot. The system integrates a ToF camera, two 4DOF robotic arms, a centralized vacuum system, and a post-harvest handling module. During harvesting, suction force is dynamically assigned to either arm via the vacuum system, enabling efficient apple detachment while reducing power consumption and noise. Compared to our previous design, we incorporated a platform movement mechanism that enables both in-out and up-down adjustments, enhancing the robot’s dexterity and adaptability to varying canopy structures. On the algorithmic side, we developed a robust apple localization pipeline that combines a foundation-model-based detector, segmentation, and clustering-based depth estimation, which improves performance in orchards. Additionally, pressure sensors were integrated into the system, and a novel dual-arm coordination strategy was introduced to respond to harvest failures based on sensor feedback, further improving picking efficiency. Field demos were conducted in two commercial orchards in MI, USA, with different canopy structures. The system achieved success rates of 0.807 and 0.797, with an average picking cycle time of 5.97s. The proposed strategy reduced harvest time by 28% compared to a single-arm baseline. The dual-arm harvesting robot enhances the reliability and efficiency of apple picking. With further advancements, the system holds strong potential for autonomous operation and commercialization for the apple industry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google