Learning Neural Control Barrier Functions from Offline Data with Conservatism

要約

安全フィルタ、特に制御バリア関数に基づく安全フィルタは、力学系の安全制御のための効果的なツールとして関心が高まっている。しかし、既存の正しい合成アルゴリズムは、次元の呪いに悩まされている。この課題を解決するために、近年ディープラーニングのアプローチが提案されている。本稿では、オフラインデータセットから制御バリア関数を学習するアルゴリズムを提案することで、この研究に貢献する。我々のアルゴリズムは、システムが安全でない状態に到達するのを防ぐだけでなく、フィルタが信頼できなくなるような分布外の状態に到達するのも防ぐようにフィルタを訓練する。このアルゴリズムは、オフライン強化学習アルゴリズムである保守的Q学習（Conservative Q-learning）にインスパイアされている。我々はその出力をCCBF（Conservative Control Barrier Functions）と呼ぶ。我々の実証結果は、CCBFが、タスク性能に最小限の影響を与えながら、安全性と分布外回避を維持することにおいて、既存の手法を凌駕することを示している。

要約(オリジナル)

Safety filters, particularly those based on control barrier functions, have gained increased interest as effective tools for safe control of dynamical systems. Existing correct-by-construction synthesis algorithms, however, suffer from the curse of dimensionality. Deep learning approaches have been proposed in recent years to address this challenge. In this paper, we contribute to this line of work by proposing an algorithm for training control barrier functions from offline datasets. Our algorithm trains the filter to not only prevent the system from reaching unsafe states but also out-of-distribution ones, at which the filter would be unreliable. It is inspired by Conservative Q-learning, an offline reinforcement learning algorithm. We call its outputs Conservative Control Barrier Functions (CCBFs). Our empirical results demonstrate that CCBFs outperform existing methods in maintaining safety and out-of-distribution avoidance while minimally affecting task performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL