Get Back Here: Robust Imitation by Return-to-Distribution Planning

要約

タイトル：Get Back Here: Robust Imitation by Return-to-Distribution Planning

要約：

1. 本研究では、専門家のデータが実際の展開環境ではなく別のバージョンで収集される、Imitation Learning (IL) のセットアップを考慮する。
2. これにより生じる分布シフトに対処するために、行動複製 (BC) とプランナーを組み合わせ、エージェントがデモンストレーションの分布から逸脱した場合は、プランナーが専門家が訪れた状態にエージェントを戻すようにタスクが与えられる。
3. 結果として得られたアルゴリズムPOIRは、オフラインで訓練することができ、オンライン相互作用を活用してプランナーを効率的に微調整することで、時間とともにパフォーマンスを改善できる。
4. 我々は、実在のロボット操作シミュレータでの人間が生成した操縦デモンストレーションの様々なテストにPOIRを適用し、学習ポリシーの異なる初期状態の分布とノイズのダイナミクスに対する強固性を示した。

要約(オリジナル)

We consider the Imitation Learning (IL) setup where expert data are not collected on the actual deployment environment but on a different version. To address the resulting distribution shift, we combine behavior cloning (BC) with a planner that is tasked to bring the agent back to states visited by the expert whenever the agent deviates from the demonstration distribution. The resulting algorithm, POIR, can be trained offline, and leverages online interactions to efficiently fine-tune its planner to improve performance over time. We test POIR on a variety of human-generated manipulation demonstrations in a realistic robotic manipulation simulator and show robustness of the learned policy to different initial state distributions and noisy dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI