POLICE: Provably Optimal Linear Constraint Enforcement for Deep Neural Networks

要約

ディープ ニューラル ネットワーク (DNN) は、任意の微分可能な演算子を構成する際のモジュール性のおかげで、多くの設定で代替関数近似器よりも優れています。
形成されたパラメーター化された汎関数は、単純な勾配降下法から目の前のタスクを解決するように調整されます。
このモジュール性は、DNN の制約を厳密に適用するという代償を伴います。
タスクのアプリオリな知識から、または望ましい物理的特性から、オープンな挑戦。
この論文では、与えられた DNN の forward-pass に最小限の変更しか必要とせず、計算に優しく、DNN のパラメーターの最適化を制約なし、つまり標準勾配ベースのままにする、DNN の最初の証明可能なアフィン制約強制法を提案します。
方法を採用することができます。
私たちの方法はサンプリングを必要とせず、トレーニングおよびテスト中の任意の時点で、DNN が特定の入力空間の領域でアフィン制約を満たすことを実証的に保証します。
このメソッド POLICE は、Provably Optimal LInear Constraint Enforcement の略です。
Github: https://github.com/RandallBalestriero/POLICE

要約(オリジナル)

Deep Neural Networks (DNNs) outshine alternative function approximators in many settings thanks to their modularity in composing any desired differentiable operator. The formed parametrized functional is then tuned to solve a task at hand from simple gradient descent. This modularity comes at the cost of making strict enforcement of constraints on DNNs, e.g. from a priori knowledge of the task, or from desired physical properties, an open challenge. In this paper we propose the first provable affine constraint enforcement method for DNNs that only requires minimal changes into a given DNN’s forward-pass, that is computationally friendly, and that leaves the optimization of the DNN’s parameter to be unconstrained, i.e. standard gradient-based method can be employed. Our method does not require any sampling and provably ensures that the DNN fulfills the affine constraint on a given input space’s region at any point during training, and testing. We coin this method POLICE, standing for Provably Optimal LInear Constraint Enforcement. Github: https://github.com/RandallBalestriero/POLICE

arxiv情報

提供元, 利用サービス

arxiv.jp, Google