Guaranteed Conformance of Neurosymbolic Models to Natural Constraints

要約

ディープ ニューラル ネットワークは、ロボット工学や制御アプリケーションの大部分で主力として、特に動的システムのモデルとして登場しました。
このようなデータ駆動型モデルは、自律システムの設計と検証に使用されます。
これらは、データを活用して治療を個別化できる医療システムのモデル化に特に役立ちます。
安全性が重要なアプリケーションでは、データ駆動型モデルが自然科学の確立された知識に準拠していることが重要です。
このような知識は多くの場合利用可能であるか、(おそらくブラックボックスの) モデルに抽出することができます。
たとえば、F1 レーシング カーは、ニュートンの法則 (一輪車モデル内にエンコードされている) に準拠する必要があります。
この観点から、次の問題を検討します。モデル $M$ と状態遷移データセットが与えられた場合、$M$ から一定の距離だけ離れた状態でシステム モデルを最もよく近似したいと考えます。
この適合性を保証する方法を提案します。
私たちの最初のステップは、成長する神経ガスのアイデアを使用して、データセットをメモリと呼ばれるいくつかの代表的なサンプルに蒸留することです。
次に、これらのメモリを使用して、状態空間を互いに素なサブセットに分割し、各サブセット内のニューラル ネットワークが尊重する必要がある境界を計算します。
これは、適合性を保証するためのシンボリック ラッパーとして機能します。
理論的には、これは近似誤差の制限された増加につながるだけであると主張します。
これはメモリの数を増やすことで制御できます。
我々は、3 つのケーススタディ (自動車モデル、ドローン、人工膵臓) で、制約付き神経象徴モデルが、拡張ラグランジアンおよびバニラトレーニング手法と比較して桁違いに改善され、指定されたモデル (それぞれがさまざまな制約をエンコードしている) に準拠していることを実験的に示しています。
私たちのコードは、https://github.com/kaustubhsridhar/Constrained_Models で見つけることができます。

要約(オリジナル)

Deep neural networks have emerged as the workhorse for a large section of robotics and control applications, especially as models for dynamical systems. Such data-driven models are in turn used for designing and verifying autonomous systems. They are particularly useful in modeling medical systems where data can be leveraged to individualize treatment. In safety-critical applications, it is important that the data-driven model is conformant to established knowledge from the natural sciences. Such knowledge is often available or can often be distilled into a (possibly black-box) model. For instance, an F1 racing car should conform to Newton’s laws (which are encoded within a unicycle model). In this light, we consider the following problem – given a model $M$ and a state transition dataset, we wish to best approximate the system model while being a bounded distance away from $M$. We propose a method to guarantee this conformance. Our first step is to distill the dataset into a few representative samples called memories, using the idea of a growing neural gas. Next, using these memories we partition the state space into disjoint subsets and compute bounds that should be respected by the neural network in each subset. This serves as a symbolic wrapper for guaranteed conformance. We argue theoretically that this only leads to a bounded increase in approximation error; which can be controlled by increasing the number of memories. We experimentally show that on three case studies (Car Model, Drones, and Artificial Pancreas), our constrained neurosymbolic models conform to specified models (each encoding various constraints) with order-of-magnitude improvements compared to the augmented Lagrangian and vanilla training methods. Our code can be found at: https://github.com/kaustubhsridhar/Constrained_Models

arxiv情報

提供元, 利用サービス

arxiv.jp, Google