SMLE: Safe Machine Learning via Embedded Overapproximation

要約

機械学習 (ML) とニューラル ネットワークの最近の進歩にも関わらず、これらのシステムの動作に対する正式な保証を提供することは依然として未解決の問題であり、規制されたシナリオや安全性が重要なシナリオでそれらを採用するための重要な要件です。
私たちは、入出力への影響として述べられている、設計者が選択したプロパティを満たすことが保証された微分可能な ML モデルをトレーニングするタスクを検討します。
最新のニューラル モデルではコンプライアンスを厳密に検証し強制するための計算が複雑であるため、これは非常に困難です。
私たちは、次の 3 つのコンポーネントに基づいた革新的なアプローチを提供します。1) 保守的なセマンティクスによる効率的な検証を可能にする、一般的でシンプルなアーキテクチャ。
2) 投影勾配法に基づく厳密なトレーニング アルゴリズム。
3) 強力な反例を探索する問題の定式化。
提案されたフレームワークは、モデルの複雑さによる影響をわずかに受けるのみで、実際のアプリケーションに十分に適合し、完全なプロパティ満足度保証を提供するモデルを生成します。
回帰における線形不等式によって定義されるプロパティと、マルチラベル分類における相互排他的なクラスに対するアプローチを評価します。
私たちのアプローチは、前処理中 (トレーニング データなど) および後処理中 (モデル予測など) のプロパティ強制を含むベースラインと競合します。
最後に、私たちの貢献は、複数の研究の方向性と潜在的な改善を開く枠組みを確立します。

要約(オリジナル)

Despite the extent of recent advances in Machine Learning (ML) and Neural Networks, providing formal guarantees on the behavior of these systems is still an open problem, and a crucial requirement for their adoption in regulated or safety-critical scenarios. We consider the task of training differentiable ML models guaranteed to satisfy designer-chosen properties, stated as input-output implications. This is very challenging, due to the computational complexity of rigorously verifying and enforcing compliance in modern neural models. We provide an innovative approach based on three components: 1) a general, simple architecture enabling efficient verification with a conservative semantic; 2) a rigorous training algorithm based on the Projected Gradient Method; 3) a formulation of the problem of searching for strong counterexamples. The proposed framework, being only marginally affected by model complexity, scales well to practical applications, and produces models that provide full property satisfaction guarantees. We evaluate our approach on properties defined by linear inequalities in regression, and on mutually exclusive classes in multilabel classification. Our approach is competitive with a baseline that includes property enforcement during preprocessing, i.e. on the training data, as well as during postprocessing, i.e. on the model predictions. Finally, our contributions establish a framework that opens up multiple research directions and potential improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google