ENFORCE: Exact Nonlinear Constrained Learning with Adaptive-depth Neural Projection

要約

ニューラルネットワークがドメイン固有の制約に準拠することを保証することは、安全性と倫理的懸念に対処しながら予測精度を高めるために重要です。
ほとんどの現実世界のタスクの非線形性にもかかわらず、既存の方法は主にアフィンまたは凸の制約に限定されています。
非線形制約を正確に満たす予測を保証するニューラルネットワークアーキテクチャであるEnforceを紹介します。
Enforceは、標準の制約のないグラデーションベースのオプティマー（ADAMなど）でトレーニングされ、自己分化と局所的なニューラル予測を活用して、$ \ Mathcal {c}^1 $制約を任意の寛容$ \ epsilon $に施行します。
特定の問題と必要な許容レベルに合わせて複雑さを動的に調整する適応距離のあるニューラル投影（ADANP）モジュールを構築します。
Enforceは、最小（および調整可能な）計算コストで、ニューラルネットワークの出力と出力の両方で非線形の平等制約の満足度を保証します。

要約(オリジナル)

Ensuring neural networks adhere to domain-specific constraints is crucial for addressing safety and ethical concerns while also enhancing prediction accuracy. Despite the nonlinear nature of most real-world tasks, existing methods are predominantly limited to affine or convex constraints. We introduce ENFORCE, a neural network architecture that guarantees predictions to satisfy nonlinear constraints exactly. ENFORCE is trained with standard unconstrained gradient-based optimizers (e.g., Adam) and leverages autodifferentiation and local neural projections to enforce any $\mathcal{C}^1$ constraint to arbitrary tolerance $\epsilon$. We build an adaptive-depth neural projection (AdaNP) module that dynamically adjusts its complexity to suit the specific problem and the required tolerance levels. ENFORCE guarantees satisfaction of equality constraints that are nonlinear in both inputs and outputs of the neural network with minimal (and adjustable) computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google