End-to-End Stable Imitation Learning via Autonomous Neural Dynamic Policies

要約

最先端の感覚運動学習アルゴリズムは、不安定な動作を生成し、ロボットや環境に損害を与える可能性のあるポリシーを提供します。
逆に、従来のロボット学習は、安定性/安全性を分析できる動的システムベースのポリシーに依存しています。
ただし、このようなポリシーは柔軟性も汎用性もなく、通常は固有受容センサーの状態でのみ機能します。
この研究では、一般的なニューラル ネットワーク ポリシーと動的システム ベースのポリシーの間のギャップを橋渡しし、(a) 自律動的システムに基づいており、(b) 常に漸近的に安定した動作を生成する自律ニューラル ダイナミック ポリシー (ANDP) を導入します。
、および (c) 従来の安定した動的システムベースのポリシーよりも柔軟です。
ANDP は完全に微分可能で柔軟な汎用ポリシーであり、漸近的な安定性を確保しながら模倣学習セットアップで使用できます。
この論文では、画像観察による実験を含むいくつかの模倣学習タスクにおける ANDP の柔軟性と能力を調査します。
結果は、ANDP がニューラル ネットワーク ベースの方法と動的システム ベースの方法の両方の利点を組み合わせていることを示しています。

要約(オリジナル)

State-of-the-art sensorimotor learning algorithms offer policies that can often produce unstable behaviors, damaging the robot and/or the environment. Traditional robot learning, on the contrary, relies on dynamical system-based policies that can be analyzed for stability/safety. Such policies, however, are neither flexible nor generic and usually work only with proprioceptive sensor states. In this work, we bridge the gap between generic neural network policies and dynamical system-based policies, and we introduce Autonomous Neural Dynamic Policies (ANDPs) that: (a) are based on autonomous dynamical systems, (b) always produce asymptotically stable behaviors, and (c) are more flexible than traditional stable dynamical system-based policies. ANDPs are fully differentiable, flexible generic-policies that can be used in imitation learning setups while ensuring asymptotic stability. In this paper, we explore the flexibility and capacity of ANDPs in several imitation learning tasks including experiments with image observations. The results show that ANDPs combine the benefits of both neural network-based and dynamical system-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google