Learning to Modulate pre-trained Models in RL

要約

強化学習 (RL) は、ロボット工学、ゲームプレイ、シミュレーションなどのさまざまな分野で成功を収めています。
RL エージェントは特定のタスクでは優れた能力を示していますが、新しいタスクには十分に適応できません。
教師あり学習では、この適応の問題は、大規模な事前トレーニングとその後の新しい下流タスクへの微調整によって対処されます。
最近、RL では複数のタスクに関する事前トレーニングが注目を集めています。
ただし、事前トレーニングされたモデルを微調整すると、致命的な忘却が発生することがよくあります。つまり、新しいタスクを微調整すると、事前トレーニング タスクのパフォーマンスが低下します。
壊滅的な忘却現象を調査するために、まず、Meta-World と DMControl という 2 つのベンチマーク スイートのデータセットでモデルを共同で事前トレーニングします。
次に、新しいタスクのパフォーマンスと、事前トレーニング タスクのパフォーマンスがどの程度維持されているかの両方の観点から、自然言語処理で普及しているさまざまな微調整手法を評価および比較します。
私たちの調査によると、ほとんどの微調整アプローチでは、事前トレーニング タスクのパフォーマンスが大幅に低下します。
そこで、学習可能な変調プールを介して凍結された事前訓練済みモデルの情報フローを変調することで、学習したスキルの低下を回避する新しい方法である Learning-to-Modulate (L2M) を提案します。
私たちの手法は、事前トレーニング タスクのパフォーマンスを維持しながら、Continual-World ベンチマークで最先端のパフォーマンスを達成します。
最後に、この分野での将来の研究を支援するために、50 の Meta-World タスクと 16 の DMControl タスクを含むデータセットをリリースします。

要約(オリジナル)

Reinforcement Learning (RL) has been successful in various domains like robotics, game playing, and simulation. While RL agents have shown impressive capabilities in their specific tasks, they insufficiently adapt to new tasks. In supervised learning, this adaptation problem is addressed by large-scale pre-training followed by fine-tuning to new down-stream tasks. Recently, pre-training on multiple tasks has been gaining traction in RL. However, fine-tuning a pre-trained model often suffers from catastrophic forgetting, that is, the performance on the pre-training tasks deteriorates when fine-tuning on new tasks. To investigate the catastrophic forgetting phenomenon, we first jointly pre-train a model on datasets from two benchmark suites, namely Meta-World and DMControl. Then, we evaluate and compare a variety of fine-tuning methods prevalent in natural language processing, both in terms of performance on new tasks, and how well performance on pre-training tasks is retained. Our study shows that with most fine-tuning approaches, the performance on pre-training tasks deteriorates significantly. Therefore, we propose a novel method, Learning-to-Modulate (L2M), that avoids the degradation of learned skills by modulating the information flow of the frozen pre-trained model via a learnable modulation pool. Our method achieves state-of-the-art performance on the Continual-World benchmark, while retaining performance on the pre-training tasks. Finally, to aid future research in this area, we release a dataset encompassing 50 Meta-World and 16 DMControl tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google