POLICE: Provably Optimal Linear Constraint Enforcement for Deep Neural Networks

要約

ディープニューラルネットワーク（DNN）は、任意の微分演算子を構成できるモジュール性により、多くの場面で他の関数近似器よりも優れています。DNNは、微分可能な演算子を自由に組み合わせることができるモジュール性を持っており、パラメータ化された関数は、単純な勾配降下法からタスクを解決するために調整されます。このモジュール性は、例えば、タスクの先験的な知識や望ましい物理的特性から、DNNに対する制約を厳密に実施することを代償として、未解決の課題となっている。本論文では、DNNに対して初めて証明可能なアフィン制約の適用方法を提案する。この方法は、与えられたDNNのフォワードパスの変更を最小限に抑え、計算に優れ、DNNのパラメータの最適化は無制約のままである（すなわち、標準の勾配ベースの方法が採用可能である）。本手法はサンプリングを必要とせず、学習時およびテスト時のどの時点でも、DNNが与えられた入力空間の領域に対してアフィン制約を満たすことを証明する。我々はこの手法をPOLICE（Provably Optimal LInear Constraint Enforcementの略）と名付けた。

要約(オリジナル)

Deep Neural Networks (DNNs) outshine alternative function approximators in many settings thanks to their modularity in composing any desired differentiable operator. The formed parametrized functional is then tuned to solve a task at hand from simple gradient descent. This modularity comes at the cost of making strict enforcement of constraints on DNNs, e.g. from a priori knowledge of the task, or from desired physical properties, an open challenge. In this paper we propose the first provable affine constraint enforcement method for DNNs that requires minimal changes into a given DNN’s forward-pass, that is computationally friendly, and that leaves the optimization of the DNN’s parameter to be unconstrained i.e. standard gradient-based method can be employed. Our method does not require any sampling and provably ensures that the DNN fulfills the affine constraint on a given input space’s region at any point during training, and testing. We coin this method POLICE, standing for Provably Optimal LInear Constraint Enforcement.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL