Policy Stitching: Learning Transferable Robot Policies

要約

強化学習 (RL) を使用したロボットのトレーニングには通常、環境との激しい相互作用が含まれ、獲得されたスキルはタスク環境やロボットの運動学の変化に敏感になることがよくあります。
Transfer RL は、これまでの知識を活用して、新しいタスクや新しい身体構成の学習を加速することを目的としています。
しかし、既存の手法では、複雑なアーキテクチャ設計や、学習されたポリシーの能力を制限する強力な正則化により、新しいロボットとタスクの組み合わせに一般化したり、現実的なタスクに拡張したりすることが困難です。
我々は、ロボットとタスクの新しい組み合わせに対するロボット転移学習を促進する新しいフレームワークであるポリシーステッチングを提案します。
私たちの重要なアイデアは、モジュール式ポリシー設計を適用し、モジュール式インターフェイス間の潜在表現を調整することです。
私たちの方法では、ロボットと個別にトレーニングされたタスクモジュールを直接結合して、迅速な適応のための新しいポリシーを形成することができます。
さまざまな 3D 操作タスクに関するシミュレーションおよび現実世界の実験では、この手法の優れたゼロショットおよび少数ショット転移学習パフォーマンスが実証されています。
私たちのプロジェクトの Web サイトは http://generalroboticslab.com/PolicyStitching/ です。

要約(オリジナル)

Training robots with reinforcement learning (RL) typically involves heavy interactions with the environment, and the acquired skills are often sensitive to changes in task environments and robot kinematics. Transfer RL aims to leverage previous knowledge to accelerate learning of new tasks or new body configurations. However, existing methods struggle to generalize to novel robot-task combinations and scale to realistic tasks due to complex architecture design or strong regularization that limits the capacity of the learned policy. We propose Policy Stitching, a novel framework that facilitates robot transfer learning for novel combinations of robots and tasks. Our key idea is to apply modular policy design and align the latent representations between the modular interfaces. Our method allows direct stitching of the robot and task modules trained separately to form a new policy for fast adaptation. Our simulated and real-world experiments on various 3D manipulation tasks demonstrate the superior zero-shot and few-shot transfer learning performances of our method. Our project website is at: http://generalroboticslab.com/PolicyStitching/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google