Know Thyself: Transferable Visual Control Policies Through Robot-Awareness

要約

通常、新しいロボットで視覚制御ポリシーをゼロからトレーニングするには、大量のロボット固有のデータを生成する必要があります。
以前に別のロボットで収集されたデータを活用して、ロボット固有のデータの必要性を減らしたり、完全に削除したりするにはどうすればよいでしょうか?
ロボットに関するすぐに利用可能な知識を活用することによってこれを達成する「ロボット対応制御」パラダイムを提案します。
次に、これをロボット対応のモデルベースの RL ポリシーでインスタンス化します。これは、転送可能なロボット対応のワールド ダイナミクス モジュールと、ロボット固有の潜在的に分析的なロボット ダイナミクス モジュールを結合するモジュラー ダイナミクス モデルをトレーニングすることによって実現します。
これにより、ロボット エージェントと世界を別々に考慮したビジュアル プランニング コストを設定することもできます。
シミュレートされたロボットと実際のロボットを使用した卓上操作タスクに関する私たちの実験では、これらのプラグインの改善により、視覚モデルベースの RL ポリシーの転送可能性が劇的に向上し、新しいロボットへの視覚操作スキルのゼロショット転送さえ可能になることが示されました。
プロジェクトのウェブサイト: https://www.seas.upenn.edu/~hued/rac

要約(オリジナル)

Training visual control policies from scratch on a new robot typically requires generating large amounts of robot-specific data. How might we leverage data previously collected on another robot to reduce or even completely remove this need for robot-specific data? We propose a ‘robot-aware control’ paradigm that achieves this by exploiting readily available knowledge about the robot. We then instantiate this in a robot-aware model-based RL policy by training modular dynamics models that couple a transferable, robot-aware world dynamics module with a robot-specific, potentially analytical, robot dynamics module. This also enables us to set up visual planning costs that separately consider the robot agent and the world. Our experiments on tabletop manipulation tasks with simulated and real robots demonstrate that these plug-in improvements dramatically boost the transferability of visual model-based RL policies, even permitting zero-shot transfer of visual manipulation skills onto new robots. Project website: https://www.seas.upenn.edu/~hued/rac

arxiv情報

提供元, 利用サービス

arxiv.jp, Google