Towards Real-World Efficiency: Domain Randomization in Reinforcement Learning for Pre-Capture of Free-Floating Moving Targets by Autonomous Robots

要約

この研究では、微小重力条件下でのロボットの事前掴み段階の複雑な課題に対処するために、深層強化学習ベースの制御アプローチを導入します。
強化学習を活用すると、手動による機能設計の必要性がなくなるため、問題が単純化され、ロボットが試行錯誤を通じて事前把握ポリシーを学習できるようになります。
私たちの方法論には、オフポリシー強化学習フレームワークが組み込まれており、ソフト アクター クリティカル手法を採用して、グリッパーが自由に浮遊する移動物体にうまくアプローチできるようにし、最適な事前掴みの成功を保証します。
事前把握アプローチタスクを効果的に学習するために、エージェントに明確で洞察力に富んだフィードバックを提供する報酬関数を開発しました。
私たちのケーススタディでは、Robotiq 3F グリッパーが自由に浮遊する移動ターゲットに向かってナビゲートし、それを追跡し、その後希望する事前把握位置に位置決めする必要がある事前把握タスクを検討します。
私たちは、シミュレーション環境と現実世界の両方の環境での一連の実験を通じてアプローチを評価しました。
ソース コードと実際のロボットのつかみの記録は、Fanuc_Robotiq_Grasp で入手できます。

要約(オリジナル)

In this research, we introduce a deep reinforcement learning-based control approach to address the intricate challenge of the robotic pre-grasping phase under microgravity conditions. Leveraging reinforcement learning eliminates the necessity for manual feature design, therefore simplifying the problem and empowering the robot to learn pre-grasping policies through trial and error. Our methodology incorporates an off-policy reinforcement learning framework, employing the soft actor-critic technique to enable the gripper to proficiently approach a free-floating moving object, ensuring optimal pre-grasp success. For effective learning of the pre-grasping approach task, we developed a reward function that offers the agent clear and insightful feedback. Our case study examines a pre-grasping task where a Robotiq 3F gripper is required to navigate towards a free-floating moving target, pursue it, and subsequently position itself at the desired pre-grasp location. We assessed our approach through a series of experiments in both simulated and real-world environments. The source code, along with recordings of real-world robot grasping, is available at Fanuc_Robotiq_Grasp.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google