Enhanced View Planning for Robotic Harvesting: Tackling Occlusions with Imitation Learning

要約

農業自動化では、固有の閉塞は、ロボット収穫のための大きな課題となっています。
カメラの視点を積極的に調整し、ターゲット作物の遮るもののない画像を積極的に調整するための新しい模倣学習ベースの視点計画アプローチを提案します。
従来の視点プランナーと既存の学習ベースの方法は、手動で設計された評価メトリックまたは報酬機能に依存しており、複雑で目に見えないシナリオに一般化するのに苦労しています。
私たちの方法では、トランス（ACT）アルゴリズムでチャンクするアクションを使用して、専門家のデモンストレーションから効果的なカメラモーションポリシーを学習します。
これにより、より滑らかでより正確で、閉塞されたターゲットを明らかにする、6度（6-DOF）の視点調整が継続的に可能になります。
農業シナリオとRGB-Dカメラを備えた6-DOFロボットアームを備えたシミュレートされた環境と実世界の両方の環境での広範な実験は、特に複雑な閉塞条件での方法の優れた成功率と効率性、および再プログラミングなしで異なる作物を一般化する能力を示しています。
この研究では、閉塞の課題に対する実用的な「デモンストレーションから学習」（LFD）ソリューションを提供し、最終的に自律的な収穫のパフォーマンスと生産性を高めることにより、ロボットの収穫を進めます。

要約(オリジナル)

In agricultural automation, inherent occlusion presents a major challenge for robotic harvesting. We propose a novel imitation learning-based viewpoint planning approach to actively adjust camera viewpoint and capture unobstructed images of the target crop. Traditional viewpoint planners and existing learning-based methods, depend on manually designed evaluation metrics or reward functions, often struggle to generalize to complex, unseen scenarios. Our method employs the Action Chunking with Transformer (ACT) algorithm to learn effective camera motion policies from expert demonstrations. This enables continuous six-degree-of-freedom (6-DoF) viewpoint adjustments that are smoother, more precise and reveal occluded targets. Extensive experiments in both simulated and real-world environments, featuring agricultural scenarios and a 6-DoF robot arm equipped with an RGB-D camera, demonstrate our method’s superior success rate and efficiency, especially in complex occlusion conditions, as well as its ability to generalize across different crops without reprogramming. This study advances robotic harvesting by providing a practical ‘learn from demonstration’ (LfD) solution to occlusion challenges, ultimately enhancing autonomous harvesting performance and productivity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google