A Model-Based Approach to Imitation Learning through Multi-Step Predictions

要約

模倣学習は、トレーニングエージェントが複雑な意思決定タスクで専門家の行動を再現するための広く使用されているアプローチです。
ただし、既存の方法は、エラー修正の固有の課題とトレーニングと展開の間の分布シフトにより、複合エラーと一般化の制限に苦労していることがよくあります。
このホワイトペーパーでは、モデル予測制御に触発された新しいモデルベースの模倣学習フレームワークを紹介します。これは、マルチステップ状態予測を通じて予測モデリングを統合することにより、これらの制限に対処します。
私たちの方法は、数値ベンチマークをクローニングする従来の動作を上回り、利用可能なデータと実行中の分布シフトおよび測定ノイズに対する優れた堅牢性を示しています。
さらに、メソッドのサンプルの複雑さとエラー境界に関する理論的保証を提供し、収束特性に関する洞察を提供します。

要約(オリジナル)

Imitation learning is a widely used approach for training agents to replicate expert behavior in complex decision-making tasks. However, existing methods often struggle with compounding errors and limited generalization, due to the inherent challenge of error correction and the distribution shift between training and deployment. In this paper, we present a novel model-based imitation learning framework inspired by model predictive control, which addresses these limitations by integrating predictive modeling through multi-step state predictions. Our method outperforms traditional behavior cloning numerical benchmarks, demonstrating superior robustness to distribution shift and measurement noise both in available data and during execution. Furthermore, we provide theoretical guarantees on the sample complexity and error bounds of our method, offering insights into its convergence properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google