Context-Based Meta Reinforcement Learning for Robust and Adaptable Peg-in-Hole Assembly Tasks

要約

自律的なアセンブリは、産業およびサービスロボットにとって不可欠な機能であり、PEG-inhole（PIH）挿入はコアタスクの1つです。
ただし、未知の環境でのPIHアセンブリは、センサーノイズに起因する穴の位置や方向などのタスクパラメーターの不確実性のため、依然として困難です。
コンテキストベースのメタ補強学習（RL）メソッドは、PIHアセンブリタスクで未知のタスクパラメーターに適応するために以前に提示されていますが、パフォーマンスはサンプルではない手順または人間のデモに依存します。
したがって、実際のP​​IHアセンブリタスクにおけるメタRLの適用性を高めるために、ロボットの前方運動学と非調整カメラからの情報を使用するようにエージェントを訓練することを提案します。
さらに、メタトレーニングエージェントを効率的に適応させることにより、力/トルクセンサーからのデータを使用することにより、パフォーマンスを向上させます。
最後に、パラメーターがトレーニングタスクとは異なる分散式タスクの適応手順を提案します。
シミュレートされた実際のロボットの実験では、変更が以前のアプローチと比較してPIHアセンブリタスクにおけるコンテキストベースのメタRLエージェントのメタトレーニング、現実世界の適応パフォーマンス、および一般化中のサンプル効率が向上することを証明しています。

要約(オリジナル)

Autonomous assembly is an essential capability for industrial and service robots, with Peg-in-Hole (PiH) insertion being one of the core tasks. However, PiH assembly in unknown environments is still challenging due to uncertainty in task parameters, such as the hole position and orientation, resulting from sensor noise. Although context-based meta reinforcement learning (RL) methods have been previously presented to adapt to unknown task parameters in PiH assembly tasks, the performance depends on a sample-inefficient procedure or human demonstrations. Thus, to enhance the applicability of meta RL in real-world PiH assembly tasks, we propose to train the agent to use information from the robot’s forward kinematics and an uncalibrated camera. Furthermore, we improve the performance by efficiently adapting the meta-trained agent to use data from force/torque sensor. Finally, we propose an adaptation procedure for out-of-distribution tasks whose parameters are different from the training tasks. Experiments on simulated and real robots prove that our modifications enhance the sample efficiency during meta training, real-world adaptation performance, and generalization of the context-based meta RL agent in PiH assembly tasks compared to previous approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google