Correct-by-construction reach-avoid control of partially observable linear stochastic systems

要約

私たちは、ガウス プロセスと測定ノイズを伴う離散時間線形時不変 (LTI) システムのリーチ回避制御のためのフィードバック コントローラー合成を研究します。
問題は、安全でない状態を回避しながら、少なくとも必要な確率でシステムが有限時間内に望ましい目標状態に到達するようにコントローラーを計算することです。
確率性と非凸性により、この問題は一般に正確なアルゴリズム解または閉形式解を許容しません。
私たちの主な貢献は、カルマン フィルターを使用して取得された、未測定状態に対するガウス信念の有限状態抽象化に基づく、Correct-by-construction コントローラー合成スキームです。
この抽象化をマルコフ決定プロセス (MDP) として形式化します。
遷移確率を近似する際の数値的不正確さに対して堅牢であるために、遷移確率の間隔を持つ MDP を使用します。
構築により、抽象化に関するポリシーは、LTI システムの区分的線形フィードバック コントローラーに洗練されます。
このコントローラの下の閉ループ LTI システムが、少なくとも必要な確率で到達回避問題を満たしていることを証明します。
数値実験は、私たちの方法が、最大 6D 状態空間を持ち、急速探索ランダム信念木 (RRBT) などの方法では処理できない制御入力制約を持つシステムの到達回避問題を解決できることを示しています。

要約(オリジナル)

We study feedback controller synthesis for reach-avoid control of discrete-time, linear time-invariant (LTI) systems with Gaussian process and measurement noise. The problem is to compute a controller such that, with at least some required probability, the system reaches a desired goal state in finite time while avoiding unsafe states. Due to stochasticity and nonconvexity, this problem does not admit exact algorithmic or closed-form solutions in general. Our key contribution is a correct-by-construction controller synthesis scheme based on a finite-state abstraction of a Gaussian belief over the unmeasured state, obtained using a Kalman filter. We formalize this abstraction as a Markov decision process (MDP). To be robust against numerical imprecision in approximating transition probabilities, we use MDPs with intervals of transition probabilities. By construction, any policy on the abstraction can be refined into a piecewise linear feedback controller for the LTI system. We prove that the closed-loop LTI system under this controller satisfies the reach-avoid problem with at least the required probability. The numerical experiments show that our method is able to solve reach-avoid problems for systems with up to 6D state spaces, and with control input constraints that cannot be handled by methods such as the rapidly-exploring random belief trees (RRBT).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google