DeepSaDe: Learning Neural Networks that Guarantee Domain Constraint Satisfaction

要約

機械学習モデル、特にニューラル ネットワークの人気が高まるにつれ、特に安全性が重要なアプリケーション、たとえば、ネットワークの信頼性について懸念が生じています。
自動運転車の動作は安全でなければなりません。
このようなドメイン要件が制約として強制されるニューラル ネットワークをトレーニングできるアプローチはありますが、制約がすべての可能な予測 (目に見えないデータであっても) によって満たされることを保証できないか、制約の種類が制限されています。
施行された。
この論文では、さまざまな制約を強制し、考えられるすべての予測によって制約が満たされることを保証できるニューラル ネットワークをトレーニングするアプローチを紹介します。
このアプローチは、学習線形モデルを制約満足問題 (CSP) として定式化する以前の研究に基づいています。
このアイデアをニューラル ネットワークに適用できるようにするために、2 つの重要な新しい要素が追加されました。それは、ネットワーク層にわたる制約の伝播と、勾配降下法と CSP 解決の組み合わせに基づく重みの更新です。
さまざまな機械学習タスクの評価により、私たちのアプローチがさまざまなドメイン制約を強制するのに十分な柔軟性があり、ニューラル ネットワークでそれらを保証できることが実証されました。

要約(オリジナル)

As machine learning models, specifically neural networks, are becoming increasingly popular, there are concerns regarding their trustworthiness, specially in safety-critical applications, e.g. actions of an autonomous vehicle must be safe. There are approaches that can train neural networks where such domain requirements are enforced as constraints, but they either cannot guarantee that the constraint will be satisfied by all possible predictions (even on unseen data) or they are limited in the type of constraints that can be enforced. In this paper, we present an approach to train neural networks which can enforce a wide variety of constraints and guarantee that the constraint is satisfied by all possible predictions. The approach builds on earlier work where learning linear models is formulated as a constraint satisfaction problem (CSP). To make this idea applicable to neural networks, two crucial new elements are added: constraint propagation over the network layers, and weight updates based on a mix of gradient descent and CSP solving. Evaluation on various machine learning tasks demonstrates that our approach is flexible enough to enforce a wide variety of domain constraints and is able to guarantee them in neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google