GRAM: Generalization in Deep RL with a Robust Adaptation Module

要約

現実世界の設定で深層強化学習を確実に導入するには、トレーニング中に見られる分布内シナリオと新しい分布外シナリオの両方を含む、さまざまな条件を一般化する能力が必要です。
この研究では、これら 2 つの異なるタイプの一般化を単一のアーキテクチャ内で統合する、深層強化学習におけるダイナミクス一般化のフレームワークを紹介します。
配布内と配布外の両方の環境ダイナミクスを特定して対応するメカニズムを提供する堅牢な適応モジュールと、配布内適応と配布外の堅牢性の目標を組み合わせた共同トレーニング パイプラインを導入します。
。
当社のアルゴリズム GRAM は、導入時に分散内シナリオと分散外シナリオにわたって強力な汎化パフォーマンスを実現します。これは、四足ロボットを使用したさまざまな現実的なシミュレートされた移動タスクで実証されています。

要約(オリジナル)

The reliable deployment of deep reinforcement learning in real-world settings requires the ability to generalize across a variety of conditions, including both in-distribution scenarios seen during training as well as novel out-of-distribution scenarios. In this work, we present a framework for dynamics generalization in deep reinforcement learning that unifies these two distinct types of generalization within a single architecture. We introduce a robust adaptation module that provides a mechanism for identifying and reacting to both in-distribution and out-of-distribution environment dynamics, along with a joint training pipeline that combines the goals of in-distribution adaptation and out-of-distribution robustness. Our algorithm GRAM achieves strong generalization performance across in-distribution and out-of-distribution scenarios upon deployment, which we demonstrate on a variety of realistic simulated locomotion tasks with a quadruped robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google