Learn to Teach: Improve Sample Efficiency in Teacher-student Learning for Sim-to-Real Transfer

要約

シミュレーションから現実へ（シムからリアルへ）の移行は、ロボット学習の基本的な問題です。
トレーニング中にランダム化を追加するドメイン ランダム化は、シミュレーションと実際のギャップに効果的に対処する強力な手法です。
ただし、観察時のノイズにより、学習が大幅に困難になります。
最近の研究では、教師と生徒の学習パラダイムを採用すると、ランダム化された環境でのトレーニングが加速できることが示されています。
教師エージェントは特権情報を学習して、騒がしい環境で動作するように学生エージェントに指示できます。
ただし、このアプローチは、教師が収集した経験が生徒のトレーニング時に完全に破棄され、環境によって明らかにされる情報が無駄になるため、サンプル効率が良くないことがよくあります。
この研究では、教師エージェントによって収集された経験を再利用する、Learn to Teach (L2T) と呼ばれる効率的な学習フレームワークのサンプルを提案することで、教師と生徒の学習パラダイムを拡張します。
両方のエージェントの環境のダイナミクスが変化せず、教師の状態空間が生徒の観察空間と結合していることが観察されます。
シングルループ アルゴリズムが、強化学習と逆強化学習の両方のコンテキストの下で教師エージェントと学生エージェントの両方をトレーニングできることを示します。
私たちはメソッドの変形を実装し、MuJoCo ベンチマークで実験を実施し、私たちのメソッドを Cassie ロボットの移動問題に適用します。
広範な実験により、私たちの方法は教師との環境相互作用のみを必要としながらも、競争力のあるパフォーマンスを達成できることが示されています。

要約(オリジナル)

Simulation-to-reality (sim-to-real) transfer is a fundamental problem for robot learning. Domain Randomization, which adds randomization during training, is a powerful technique that effectively addresses the sim-to-real gap. However, the noise in observations makes learning significantly harder. Recently, studies have shown that employing a teacher-student learning paradigm can accelerate training in randomized environments. Learned with privileged information, a teacher agent can instruct the student agent to operate in noisy environments. However, this approach is often not sample efficient as the experience collected by the teacher is discarded completely when training the student, wasting information revealed by the environment. In this work, we extend the teacher-student learning paradigm by proposing a sample efficient learning framework termed Learn to Teach (L2T) that recycles experience collected by the teacher agent. We observe that the dynamics of the environments for both agents remain unchanged, and the state space of the teacher is coupled with the observation space of the student. We show that a single-loop algorithm can train both the teacher and student agents under both Reinforcement Learning and Inverse Reinforcement Learning contexts. We implement variants of our methods, conduct experiments on the MuJoCo benchmark, and apply our methods to the Cassie robot locomotion problem. Extensive experiments show that our method achieves competitive performance while only requiring environmental interaction with the teacher.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google