Hierarchical Meta-learning-based Adaptive Controller

要約

私たちは、変化する環境において迅速かつ正確なオンライン適応を可能にする学習ベースの適応コントローラーを設計する方法を研究します。
これらの設定では、学習は通常、初期 (オフライン) 設計段階で行われ、車両がさまざまな環境条件や外乱 (例: ドローンがさまざまな風にさらされるなど) にさらされてトレーニング データが収集されます。
私たちの研究は、現実世界の妨害が 2 つのカテゴリーに分類されるという観察によって動機付けられています。1) トレーニング中に直接監視または制御できるもの (これを「管理可能」と呼びます)、2) 直接測定または制御できないもの (例:
、公称モデルの不一致、エアプレート効果、予測不可能な風など）を「潜在」と呼びます。
これらの影響を不正確にモデリングすると、特に潜在的な外乱が継続的に変化する場合、制御性能が低下する可能性があります。
この論文では、このような複数の原因による外乱を学習して適応するための階層型メタ学習ベースの適応コントローラー (HMAC) を紹介します。
HMAC 内で、私たちは 2 つの技術を開発します。1) 階層的反復学習。表現を共同でトレーニングしてさまざまな妨害の原因をキャプションします。2) 平滑化ストリーミング メタ学習。時間の経過とともに進化する潜在的な妨害の構造を捕捉する方法を学習します。
管理可能な障害に関する標準的なメタ学習まで）。
実験結果は、HMAC が他の適応コントローラーよりも複数の原因による外乱に対してより正確かつ迅速に適応することを示しています。

要約(オリジナル)

We study how to design learning-based adaptive controllers that enable fast and accurate online adaptation in changing environments. In these settings, learning is typically done during an initial (offline) design phase, where the vehicle is exposed to different environmental conditions and disturbances (e.g., a drone exposed to different winds) to collect training data. Our work is motivated by the observation that real-world disturbances fall into two categories: 1) those that can be directly monitored or controlled during training, which we call ‘manageable’, and 2) those that cannot be directly measured or controlled (e.g., nominal model mismatch, air plate effects, and unpredictable wind), which we call ‘latent’. Imprecise modeling of these effects can result in degraded control performance, particularly when latent disturbances continuously vary. This paper presents the Hierarchical Meta-learning-based Adaptive Controller (HMAC) to learn and adapt to such multi-source disturbances. Within HMAC, we develop two techniques: 1) Hierarchical Iterative Learning, which jointly trains representations to caption the various sources of disturbances, and 2) Smoothed Streaming Meta-Learning, which learns to capture the evolving structure of latent disturbances over time (in addition to standard meta-learning on the manageable disturbances). Experimental results demonstrate that HMAC exhibits more precise and rapid adaptation to multi-source disturbances than other adaptive controllers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google