A Reinforcement Learning Approach for Robotic Unloading from Visual Observations

要約

この研究では、ロボットが主な入力ソースとして RGB-D 画像を使用して荷物のスタックを自律的に降ろす必要がある、視覚観察からのロボットによる荷降ろしの問題に焦点を当てます。
教師あり学習と模倣学習は、この種のタスクで良好な結果を達成していますが、ラベル付きデータに大きく依存しているため、現実的なシナリオでは取得が困難です。
私たちの研究は、学習プロセス中にラベル付きデータを必要とせずにアンロードタスクを学習できるサンプルの効率的なコントローラーフレームワークを開発することを目的としています。
この課題に取り組むために、高レベルの意思決定モジュールと古典的なモーション制御を組み合わせた階層型コントローラー構造を提案します。
高レベルのモジュールは深層強化学習 (DRL) を使用してトレーニングされ、安全性バイアス メカニズムが組み込まれ、このタスクに合わせた報酬関数が設計されます。
私たちの実験は、これらの要素の両方が学習パフォーマンスの向上に重要な役割を果たすことを示しています。
さらに、再現性を確保し、将来の研究のためのベンチマークを確立するために、コードとシミュレーションへの無料アクセスを提供しています。

要約(オリジナル)

In this work, we focus on a robotic unloading problem from visual observations, where robots are required to autonomously unload stacks of parcels using RGB-D images as their primary input source. While supervised and imitation learning have accomplished good results in these types of tasks, they heavily rely on labeled data, which are challenging to obtain in realistic scenarios. Our study aims to develop a sample efficient controller framework that can learn unloading tasks without the need for labeled data during the learning process. To tackle this challenge, we propose a hierarchical controller structure that combines a high-level decision-making module with classical motion control. The high-level module is trained using Deep Reinforcement Learning (DRL), wherein we incorporate a safety bias mechanism and design a reward function tailored to this task. Our experiments demonstrate that both these elements play a crucial role in achieving improved learning performance. Furthermore, to ensure reproducibility and establish a benchmark for future research, we provide free access to our code and simulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google