HardNet: Hard-Constrained Neural Networks with Universal Approximation Guarantees

要約

入出力関係の事前知識や仕様を機械学習モデルに組み込むことは、限られたデータからの汎化を強化し、適合した出力を導くことから、大きな注目を集めている。しかし、既存のアプローチのほとんどは、正則化によって違反にペナルティを与えることでソフトな制約を使用しており、特にセーフティクリティカルなアプリケーションで不可欠な要件である、学習分布から離れた入力に対する制約の充足は保証されていない。一方、ニューラルネットワークにハード制約を課すと、その表現力が妨げられ、性能に悪影響を及ぼす可能性がある。この問題に対処するために、我々は、モデルの能力を犠牲にすることなく、ハード制約を本質的に満たすニューラルネットワークを構築するための実用的なフレームワークであるHardNetを提案する。推論時にのみ出力を修正するアプローチとは異なり、HardNetはハード制約を保証したエンドツーエンドの学習を可能にし、性能の向上につながる。我々の知る限り、HardNetは1つ以上の入力依存不等式制約を強制する効率的なフォワードパスを持つ最初の手法である。HardNetは、ネットワークの出力に微分可能な閉形式の強制レイヤーを付加することで、標準的なアルゴリズムを用いたネットワークパラメーターの制約のない最適化を可能にする。さらに、HardNetが表現力豊かで、ニューラルネットワークの普遍的な近似能力を保持していることを示す。我々は、区分的制約を伴う学習、実現可能性が保証された最適化ソルバーの学習、セーフティクリティカルなシステムにおける制御ポリシーの最適化など、様々なアプリケーションにおいてHardNetの汎用性と有効性を実証する。

要約(オリジナル)

Incorporating prior knowledge or specifications of input-output relationships into machine learning models has attracted significant attention, as it enhances generalization from limited data and leads to conforming outputs. However, most existing approaches use soft constraints by penalizing violations through regularization, which offers no guarantee of constraint satisfaction, especially on inputs far from the training distribution — an essential requirement in safety-critical applications. On the other hand, imposing hard constraints on neural networks may hinder their representational power, adversely affecting performance. To address this, we propose HardNet, a practical framework for constructing neural networks that inherently satisfy hard constraints without sacrificing model capacity. Unlike approaches that modify outputs only at inference time, HardNet enables end-to-end training with hard constraint guarantees, leading to improved performance. To the best of our knowledge, HardNet is the first method with an efficient forward pass to enforce more than one input-dependent inequality constraint. It allows unconstrained optimization of the network parameters using standard algorithms by appending a differentiable closed-form enforcement layer to the network’s output. Furthermore, we show that HardNet is expressive and retains the universal approximation capabilities of neural networks. We demonstrate the versatility and effectiveness of HardNet across various applications: learning with piecewise constraints, learning optimization solvers with guaranteed feasibility, and optimizing control policies in safety-critical systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL