Find the Fruit: Designing a Zero-Shot Sim2Real Deep RL Planner for Occlusion Aware Plant Manipulation

要約

このペーパーでは、散らかった植物環境における閉塞認識ロボット操作のためのエンドツーエンドのディープ補強学習（RL）フレームワークを紹介します。
私たちのアプローチにより、ロボットは変形可能な植物と対話して、マルチモーダル観測を使用して果物などの興味のある隠されたオブジェクトを明らかにします。
訓練されたポリシーのゼロショットSIM2real転送を簡素化するために、ロボット制御から運動学的計画の問題を分離します。
私たちの結果は、私たちのフレームワークを使用して展開された訓練されたポリシーが、多様な初期条件での実際の試験で最大86.7％の成功を達成することを示しています。
私たちの発見は、すべての植物シナリオの明示的に設計された幾何学的および動的なモデルを必要とせずに、閉塞したシナリオで複雑な葉植物とインテリジェントに相互作用して「果物を見つける」自律的で知覚主導の農業ロボットへの道を開きます。

要約(オリジナル)

This paper presents an end-to-end deep reinforcement learning (RL) framework for occlusion-aware robotic manipulation in cluttered plant environments. Our approach enables a robot to interact with a deformable plant to reveal hidden objects of interest, such as fruits, using multimodal observations. We decouple the kinematic planning problem from robot control to simplify zero-shot sim2real transfer for the trained policy. Our results demonstrate that the trained policy, deployed using our framework, achieves up to 86.7% success in real-world trials across diverse initial conditions. Our findings pave the way toward autonomous, perception-driven agricultural robots that intelligently interact with complex foliage plants to ‘find the fruit’ in challenging occluded scenarios, without the need for explicitly designed geometric and dynamic models of every plant scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google