Guaranteed Conformance of Neurosymbolic Models to Natural Constraints

要約

ディープ ニューラル ネットワークは、特に動的システムのモデルとして、ロボット工学および制御アプリケーションの大部分の主力として登場しました。
このようなデータ駆動型モデルは、自律システムの設計と検証に使用されます。
これは、データを活用して治療を個別化できる医療システムのモデル化に特に役立ちます。
安全性が重要なアプリケーションでは、データ駆動型モデルが自然科学の確立された知識に準拠していることが重要です。
そのような知識は、しばしば利用可能であるか、(おそらくブラックボックスの) モデル $M$ に蒸留することができます。
たとえば、F1 レーシングカーの一輪車モデル (ニュートンの法則をエンコード) です。
この観点から、次の問題を検討します。モデル $M$ と状態遷移データセットが与えられた場合、$M$ から距離を制限しながら、システム モデルを最適に近似したいと考えています。
この適合性を保証する方法を提案します。
最初のステップは、成長する神経ガスのアイデアを使用して、データセットを記憶と呼ばれるいくつかの代表的なサンプルに抽出することです。
次に、これらのメモリを使用して、状態空間を互いに素なサブセットに分割し、入力が特定のサブセットから引き出されるときにニューラル ネットワークが考慮すべき範囲を計算します。
これは、適合性を保証するためのシンボリック ラッパーとして機能します。
理論的には、これは近似誤差の限定的な増加につながるだけであると主張しています。
これは、メモリの数を増やすことで制御できます。
3 つのケース スタディ (自動車モデル、ドローン、人工膵臓) で、制約付き神経記号モデルが指定された $M$ モデル (それぞれがさまざまな制約をエンコード) に準拠し、拡張ラグランジュやバニラと比較して桁違いに改善されていることを実験的に示しています。
トレーニング方法。
コードは https://github.com/kaustubhsridhar/Constrained_Models にあります。

要約(オリジナル)

Deep neural networks have emerged as the workhorse for a large section of robotics and control applications, especially as models for dynamical systems. Such data-driven models are in turn used for designing and verifying autonomous systems. This is particularly useful in modeling medical systems where data can be leveraged to individualize treatment. In safety-critical applications, it is important that the data-driven model is conformant to established knowledge from the natural sciences. Such knowledge is often available or can often be distilled into a (possibly black-box) model $M$. For instance, the unicycle model (which encodes Newton’s laws) for an F1 racing car. In this light, we consider the following problem – given a model $M$ and state transition dataset, we wish to best approximate the system model while being bounded distance away from $M$. We propose a method to guarantee this conformance. Our first step is to distill the dataset into few representative samples called memories, using the idea of a growing neural gas. Next, using these memories we partition the state space into disjoint subsets and compute bounds that should be respected by the neural network, when the input is drawn from a particular subset. This serves as a symbolic wrapper for guaranteed conformance. We argue theoretically that this only leads to bounded increase in approximation error; which can be controlled by increasing the number of memories. We experimentally show that on three case studies (Car Model, Drones, and Artificial Pancreas), our constrained neurosymbolic models conform to specified $M$ models (each encoding various constraints) with order-of-magnitude improvements compared to the augmented Lagrangian and vanilla training methods. Our code can be found at https://github.com/kaustubhsridhar/Constrained_Models

arxiv情報

提供元, 利用サービス

arxiv.jp, Google