Model Identification Adaptive Control with $ρ$-POMDP Planning

要約

正確なシステムモデリングは、特に部分的な観測可能性の下で、誤認が累積エラーにつながる可能性があるため、安全で効果的な制御には重要です。
信念宇宙計画の問題として、有益な入力設計（IID）およびモデル識別適応制御（MIAC）を策定することにより、この問題に対処します。
システムのパラメーターを、システムを同時に制御しながらローカライズする必要がある隠された状態変数として扱います。
この問題は、適応された信念空間反復線形二次レギュレーター（BILQR）で解決します。
カートポールおよび安定した航空機の飛行ドメインの完全かつ部分的に観察可能なタスクでそれを示します。
私たちの方法は、システムパラメーターへの瞬時の妨害下であっても、回帰、フィルタリング、局所的な最適制御方法などのベースラインよりも優れています。

要約(オリジナル)

Accurate system modeling is crucial for safe, effective control, as misidentification can lead to accumulated errors, especially under partial observability. We address this problem by formulating informative input design (IID) and model identification adaptive control (MIAC) as belief space planning problems, modeled as partially observable Markov decision processes with belief-dependent rewards ($\rho$-POMDPs). We treat system parameters as hidden state variables that must be localized while simultaneously controlling the system. We solve this problem with an adapted belief-space iterative Linear Quadratic Regulator (BiLQR). We demonstrate it on fully and partially observable tasks for cart-pole and steady aircraft flight domains. Our method outperforms baselines such as regression, filtering, and local optimal control methods, even under instantaneous disturbances to system parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google