A Novel Approach to Tomato Harvesting Using a Hybrid Gripper with Semantic Segmentation and Keypoint Detection

要約

現在の農業および農業産業は、ロボット工学および自動化技術の進歩を享受し、果物や野菜のコンプライアンスや柔らかさに基づいて適応的な把持力を備えたロボットを使用して果物や野菜を収穫することができます。
作業が成功するかどうかは、作物の機械的特性に適応できるグリッパーを使用するかどうかにかかっています。
この論文では、ソフトケージング効果を備えた新しいハイブリッドグリッパーを使用した、トマト果実の新しいロボット収穫アプローチを提案します。
優れたグリップ力と形状追従性を実現するために、硬い外側の外骨格を備えた指をベースとした 6 つの柔軟な受動的オーゼティック構造を使用しています。
グリッパーは、サーボ モーターを使用したスコッチ ヨーク機構を通じて作動します。
グリッパーを介してトマトの収穫作業を実行するには、深度カメラと RGB カメラに基づくビジョン システムが果物の識別プロセスを実装します。
これには、遮蔽された変動する周囲光環境での位置特定と、熟したトマトと未熟なトマトのセマンティック セグメンテーションのために、トマトの花柄と本体の深層学習ベースのキーポイント検出が組み込まれています。
さらに、トマトを安全に取り扱うために、ビジョンシステムからの入力に基づいたロボットアームの堅牢な軌道計画とロボットグリッパーの動きの制御が実行されます。
グリッパーの調整可能な把持力により、広範囲のコンプライアンスで果物をロボットで取り扱うことが可能になります。

要約(オリジナル)

Current agriculture and farming industries are able to reap advancements in robotics and automation technology to harvest fruits and vegetables using robots with adaptive grasping forces based on the compliance or softness of the fruit or vegetable. A successful operation depends on using a gripper that can adapt to the mechanical properties of the crops. This paper proposes a new robotic harvesting approach for tomato fruit using a novel hybrid gripper with a soft caging effect. It uses its six flexible passive auxetic structures based on fingers with rigid outer exoskeletons for good gripping strength and shape conformability. The gripper is actuated through a scotch-yoke mechanism using a servo motor. To perform tomato picking operations through a gripper, a vision system based on a depth camera and RGB camera implements the fruit identification process. It incorporates deep learning-based keypoint detection of the tomato’s pedicel and body for localization in an occluded and variable ambient light environment and semantic segmentation of ripe and unripe tomatoes. In addition, robust trajectory planning of the robotic arm based on input from the vision system and control of robotic gripper movements are carried out for secure tomato handling. The tunable grasping force of the gripper would allow the robotic handling of fruits with a broad range of compliance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google