CCIL: Continuity-based Data Augmentation for Corrective Imitation Learning

要約

複合エラーと外乱を考慮して修正データを生成することにより、模倣学習法の堅牢性を強化する新しい手法を紹介します。
既存の方法は、対話型の専門家のラベル付け、追加のオフライン データセット、またはドメイン固有の不変性に依存していますが、私たちのアプローチでは、専門家データへのアクセス以外に最小限の追加の仮定が必要です。
重要な洞察は、環境ダイナミクスにおける局所的な連続性を活用して、是正ラベルを生成することです。
私たちの方法では、まず専門家のデモンストレーションからダイナミクス モデルを構築し、学習されたモデルの局所的なリプシッツ連続性を促進します。
局所的に連続した領域では、このモデルを使用すると、デモンストレーションの近傍内で、データセット内の実際の状態とアクションのセットを超えて修正ラベルを生成できます。
この拡張データに関するトレーニングにより、エージェントが摂動から回復し、複合エラーに対処する能力が強化されます。
私たちは、古典的な制御問題、ドローン飛行、高次元センサー観測によるナビゲーション、脚による移動、卓上の操作など、異なる形式の連続性と不連続性を持つシミュレーションにおけるさまざまなロボティクス領域での実験を通じて、生成されたラベルの有効性を実証します。

要約(オリジナル)

We present a new technique to enhance the robustness of imitation learning methods by generating corrective data to account for compounding errors and disturbances. While existing methods rely on interactive expert labeling, additional offline datasets, or domain-specific invariances, our approach requires minimal additional assumptions beyond access to expert data. The key insight is to leverage local continuity in the environment dynamics to generate corrective labels. Our method first constructs a dynamics model from the expert demonstration, encouraging local Lipschitz continuity in the learned model. In locally continuous regions, this model allows us to generate corrective labels within the neighborhood of the demonstrations but beyond the actual set of states and actions in the dataset. Training on this augmented data enhances the agent’s ability to recover from perturbations and deal with compounding errors. We demonstrate the effectiveness of our generated labels through experiments in a variety of robotics domains in simulation that have distinct forms of continuity and discontinuity, including classic control problems, drone flying, navigation with high-dimensional sensor observations, legged locomotion, and tabletop manipulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google