Guaranteed Conformance of Neurosymbolic Models to Natural Constraints

要約

タイトル：自然制約に対する神経記号モデルの保証された遵守

要約：
– ディープニューラルネットワークは、特に動力学システムのモデルとして、ロボティクスや制御アプリケーションの大部分での作業馬として現れています。
– このようなデータ駆動型モデルは、自律システムの設計および検証に使用されます。
– 医療システムのモデリングには特に有用であり、データを個別に治療に活用できます。
– また、安全上の観点からは、データ駆動型モデルが自然科学から確立された知識に従うことが重要です。このような知識は、しばしば利用可能であり、(可能な限りブラックボックスにエンコードできます。
– 我々はあるモデル$M$と状態遷移のデータセットが与えられた場合、$M$からは有限の距離にとどめつつシステムモデルを最もよく近似することを目的とします。
– 我々はそのために、グローイングニューラルガスと呼ばれるいくつかの代表的なサンプルを抽出する方法を提案しています。
– 次に、これらのサンプルを使用して状態空間を互いに分離し、各サブセットでニューラルネットワークが尊重する必要がある境界を計算します。
– これは保証された遵守の象徴的なラッパーとして機能します。理論的には、近似誤差が有界に増加するだけで、メモリ数を増やすことで制御できます。
– 最後に、我々はカーモデル、ドローン、人工膵臓の3つのケーススタディで実験を行い、制約をエンコードする各モデルに対してオーダーオブマグニチュードの向上を示しました。
– 我々のコードはここで見つけることができます: https://github.com/kaustubhsridhar/Constrained_Models

要約(オリジナル)

Deep neural networks have emerged as the workhorse for a large section of robotics and control applications, especially as models for dynamical systems. Such data-driven models are in turn used for designing and verifying autonomous systems. They are particularly useful in modeling medical systems where data can be leveraged to individualize treatment. In safety-critical applications, it is important that the data-driven model is conformant to established knowledge from the natural sciences. Such knowledge is often available or can often be distilled into a (possibly black-box) model. For instance, an F1 racing car should conform to Newton’s laws (which are encoded within a unicycle model). In this light, we consider the following problem – given a model $M$ and a state transition dataset, we wish to best approximate the system model while being a bounded distance away from $M$. We propose a method to guarantee this conformance. Our first step is to distill the dataset into a few representative samples called memories, using the idea of a growing neural gas. Next, using these memories we partition the state space into disjoint subsets and compute bounds that should be respected by the neural network in each subset. This serves as a symbolic wrapper for guaranteed conformance. We argue theoretically that this only leads to a bounded increase in approximation error; which can be controlled by increasing the number of memories. We experimentally show that on three case studies (Car Model, Drones, and Artificial Pancreas), our constrained neurosymbolic models conform to specified models (each encoding various constraints) with order-of-magnitude improvements compared to the augmented Lagrangian and vanilla training methods. Our code can be found at: https://github.com/kaustubhsridhar/Constrained_Models

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI