Towards vision-based dual arm robotic fruit harvesting

要約

生産性の向上や省力化などのメリットから、近年、農業ロボットへの関心が非常に高まっています。
しかし、構造化されていない環境に関連する現在の問題により、ロボット収穫機の開発は困難になっています。
農業ロボット工学のほとんどの研究は、単一アームの操作に焦点を当てています。
ここでは双腕アプローチを提案します。
RGB-Dカメラと切断・収集ツールを搭載した双腕果物収穫ロボットを紹介します。
双腕ロボットの能力を最大限に引き出すために、協調的なタスクの記述を活用します。
私たちは、ロボットと環境に関連する一連の厳しい制約（ロボットの関節制限、ロボットの自己衝突、ロボットとフルーツの衝突、およびロボットとツリーの衝突）を満たすために、階層二次計画法ベースの制御戦略を設計しました。
ディープラーニングと標準の画像処理アルゴリズムを組み合わせて、シーン内の果物や木の幹を検出して追跡します。
現実世界の RGB-D 画像での認識方法と模擬実験での制御方法を検証します。

要約(オリジナル)

Interest in agricultural robotics has increased considerably in recent years due to benefits such as improvement in productivity and labor reduction. However, current problems associated with unstructured environments make the development of robotic harvesters challenging. Most research in agricultural robotics focuses on single arm manipulation. Here, we propose a dual-arm approach. We present a dual-arm fruit harvesting robot equipped with a RGB-D camera, cutting and collecting tools. We exploit the cooperative task description to maximize the capabilities of the dual-arm robot. We designed a Hierarchical Quadratic Programming based control strategy to fulfill the set of hard constrains related to the robot and environment: robot joint limits, robot self-collisions, robot-fruit and robot-tree collisions. We combine deep learning and standard image processing algorithms to detect and track fruits as well as the tree trunk in the scene. We validate our perception methods on real-world RGB-D images and our control method on simulated experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google