From Imitation to Refinement — Residual RL for Precise Assembly

要約

最近の行動クローニング (BC) の進歩により、ロボットに新しいタスクを教えることが簡単になりました。
ただし、教育の容易さは、精度が必要なタスクのデータの増加に伴い飽和する信頼性の低いパフォーマンスを犠牲にしていることがわかりました。
パフォーマンスの飽和は、2 つの重要な要因に起因すると考えられます。(a) オフライン データの使用に起因する分布の変化、および (b) アクション チャッキング (開ループで実行される一連の将来のアクションを予測する) によって引き起こされる閉ループ修正制御の欠如
) BC パフォーマンスにとって重要です。
私たちの重要な洞察は、アクション チャンクを予測することにより、BC ポリシーは信頼性の高い実行に必要な閉ループ コントローラーではなく、軌道の「プランナー」のように機能するということです。
これらの課題に対処するために、BC の教育の容易さと長期的な機能を維持しながら、信頼性の問題を克服する、シンプルかつ効果的な方法である ResiP (Residual for Precise Manipulation) を考案しました。
ResiP は、強化学習 (RL) でトレーニングされた完全閉ループ残差ポリシーを使用して、凍結されたチャンク化された BC モデルを拡張します。このポリシーは、分布の変化に対処し、BC 軌道プランナーによって予測されたアクション チャンクの開ループ実行に対して閉ループ補正を導入します。
ビデオ、コード、データ: https://residual-assembly.github.io。

要約(オリジナル)

Recent advances in Behavior Cloning (BC) have made it easy to teach robots new tasks. However, we find that the ease of teaching comes at the cost of unreliable performance that saturates with increasing data for tasks requiring precision. The performance saturation can be attributed to two critical factors: (a) distribution shift resulting from the use of offline data and (b) the lack of closed-loop corrective control caused by action chucking (predicting a set of future actions executed open-loop) critical for BC performance. Our key insight is that by predicting action chunks, BC policies function more like trajectory ‘planners’ than closed-loop controllers necessary for reliable execution. To address these challenges, we devise a simple yet effective method, ResiP (Residual for Precise Manipulation), that overcomes the reliability problem while retaining BC’s ease of teaching and long-horizon capabilities. ResiP augments a frozen, chunked BC model with a fully closed-loop residual policy trained with reinforcement learning (RL) that addresses distribution shifts and introduces closed-loop corrections over open-loop execution of action chunks predicted by the BC trajectory planner. Videos, code, and data: https://residual-assembly.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google