Distilling Realizable Students from Unrealizable Teachers

要約

私たちは、特権情報の下で政策蒸留を研究します。そこでは、部分的な観察のみを持つ学生ポリシーが、フルステートアクセスの教師から学習する必要があります。
重要な課題は情報の非対称性です。生徒は教師の状態空間に直接アクセスできず、分布の変化と政策の劣化につながります。
既存のアプローチは、教師を変更して、実現可能ではあるが最適ではないデモを作成するか、生徒に依存して欠落している情報を独立して検討します。どちらも非効率的です。
私たちの重要な洞察は、生徒が教師と戦略的に対話する必要があることです – 必要な場合にのみクエリをし、回復状態からリセットする – は、独自の観察スペース内で回復可能なパスにとどまることです。
2つの方法を紹介します。（i）生徒が教師に修正を照会する時期を適応的に決定する模倣学習アプローチと、（ii）効率的な探索のためのトレーニングを初期化する場所を選択する強化学習アプローチ。
シミュレートされたロボットタスクと現実世界の両方のロボットタスクの両方でメソッドを検証し、トレーニング効率と最終パフォーマンスにおける標準的な教師生徒のベースラインよりも大幅な改善を示しています。
プロジェクトWebサイトは、https：//portal-cornell.github.io/critiq_retry/で入手できます。

要約(オリジナル)

We study policy distillation under privileged information, where a student policy with only partial observations must learn from a teacher with full-state access. A key challenge is information asymmetry: the student cannot directly access the teacher’s state space, leading to distributional shifts and policy degradation. Existing approaches either modify the teacher to produce realizable but sub-optimal demonstrations or rely on the student to explore missing information independently, both of which are inefficient. Our key insight is that the student should strategically interact with the teacher –querying only when necessary and resetting from recovery states –to stay on a recoverable path within its own observation space. We introduce two methods: (i) an imitation learning approach that adaptively determines when the student should query the teacher for corrections, and (ii) a reinforcement learning approach that selects where to initialize training for efficient exploration. We validate our methods in both simulated and real-world robotic tasks, demonstrating significant improvements over standard teacher-student baselines in training efficiency and final performance. The project website is available at : https://portal-cornell.github.io/CritiQ_ReTRy/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google