Fusion Dynamical Systems with Machine Learning in Imitation Learning: A Comprehensive Overview

要約

模倣学習 (IL) は、デモンストレーションからの学習 (LfD) とも呼ばれ、効率的な模倣を通じて専門家の運動スキルを習得し、複雑なシナリオの適切なナビゲーションを容易にするという大きな可能性を秘めています。
IL における永続的な課題は、歴史的な実証から一般化を拡張し、再教育することなく新しいスキルの習得を可能にすることにあります。
動的システムベース IL (DSIL) は、IL 方法論の重要なサブセットとして登場し、動作プリミティブを介して軌道を学習する機能と、経験的抽象化に基づいたポリシー学習を提供します。
この論文は、動的システムに固有の制御理論原理を IL に統合する、理論的パラダイムの融合を強調しています。
この統合により、新しいシナリオに直面した場合の堅牢性、適応性、および収束性が特に強化されます。
この調査は、古典的なアプローチから最近の先進的なアプローチに至るまで、DSIL 手法の包括的な概要を提示することを目的としています。
DSIL を自律動的システムと非自律動的システムに分類し、低次元入力を使用する従来の IL 手法と高次元入力を使用する高度なディープ IL 手法を調査します。
さらに、IL の 3 つの主要な安定性手法、リアプノフ安定性、収縮理論、微分同相写像を提示し、分析します。
私たちの調査は、強化学習、深層強化学習、進化戦略を含む、DSIL の一般的なポリシー改善手法にも拡張されています。

要約(オリジナル)

Imitation Learning (IL), also referred to as Learning from Demonstration (LfD), holds significant promise for capturing expert motor skills through efficient imitation, facilitating adept navigation of complex scenarios. A persistent challenge in IL lies in extending generalization from historical demonstrations, enabling the acquisition of new skills without re-teaching. Dynamical system-based IL (DSIL) emerges as a significant subset of IL methodologies, offering the ability to learn trajectories via movement primitives and policy learning based on experiential abstraction. This paper emphasizes the fusion of theoretical paradigms, integrating control theory principles inherent in dynamical systems into IL. This integration notably enhances robustness, adaptability, and convergence in the face of novel scenarios. This survey aims to present a comprehensive overview of DSIL methods, spanning from classical approaches to recent advanced approaches. We categorize DSIL into autonomous dynamical systems and non-autonomous dynamical systems, surveying traditional IL methods with low-dimensional input and advanced deep IL methods with high-dimensional input. Additionally, we present and analyze three main stability methods for IL: Lyapunov stability, contraction theory, and diffeomorphism mapping. Our exploration also extends to popular policy improvement methods for DSIL, encompassing reinforcement learning, deep reinforcement learning, and evolutionary strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google