DeepSaDe: Learning Neural Networks that Guarantee Domain Constraint Satisfaction

要約

機械学習モデル、特にニューラル ネットワークがますます普及するにつれて、特に安全性が重要なアプリケーションでの信頼性に関する懸念があります。
自動運転車の動作は安全でなければなりません。
このようなドメイン要件が制約として適用されるニューラル ネットワークをトレーニングできるアプローチがありますが、すべての可能な予測 (目に見えないデータであっても) によって制約が満たされることを保証できないか、実行できる制約の種類が制限されます。
強制。
このホワイトペーパーでは、さまざまな制約を強制し、すべての可能な予測によって制約が満たされることを保証できる、ニューラル ネットワークをトレーニングするアプローチを紹介します。
このアプローチは、線形モデルの学習が制約充足問題 (CSP) として定式化される以前の研究に基づいています。
このアイデアをニューラル ネットワークに適用できるようにするために、2 つの重要な新しい要素が追加されています。それは、ネットワーク層を介した制約の伝播と、勾配降下と CSP 解決の組み合わせに基づく重みの更新です。
さまざまな機械学習タスクの評価は、私たちのアプローチがさまざまなドメイン制約を適用するのに十分柔軟であり、ニューラル ネットワークでそれらを保証できることを示しています。

要約(オリジナル)

As machine learning models, specifically neural networks, are becoming increasingly popular, there are concerns regarding their trustworthiness, specially in safety-critical applications, e.g. actions of an autonomous vehicle must be safe. There are approaches that can train neural networks where such domain requirements are enforced as constraints, but they either cannot guarantee that the constraint will be satisfied by all possible predictions (even on unseen data) or they are limited in the type of constraints that can be enforced. In this paper, we present an approach to train neural networks which can enforce a wide variety of constraints and guarantee that the constraint is satisfied by all possible predictions. The approach builds on earlier work where learning linear models is formulated as a constraint satisfaction problem (CSP). To make this idea applicable to neural networks, two crucial new elements are added: constraint propagation over the network layers, and weight updates based on a mix of gradient descent and CSP solving. Evaluation on various machine learning tasks demonstrates that our approach is flexible enough to enforce a wide variety of domain constraints and is able to guarantee them in neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google