Hard-Constrained Neural Networks with Universal Approximation Guarantees

要約

入出力関係の事前知識や仕様を機械学習モデルに組み込むことは、限られたデータからの汎化を強化し、適合した出力を導くことから、大きな注目を集めている。しかし、既存のアプローチのほとんどは、正則化によって違反にペナルティを与えることでソフトな制約を使用しており、セーフティクリティカルなアプリケーションでは必須要件である制約充足の保証を提供していない。一方、ハード制約をニューラルネットワークに課すことは、その表現力を妨げ、性能に悪影響を及ぼす可能性がある。この問題に対処するために、モデル能力を犠牲にすることなく、ハード制約を本質的に満たすニューラルネットワークを構築するための実用的なフレームワークであるHardNetを提案する。推論時にのみ出力を修正するアプローチとは異なり、HardNetはハード制約を保証したエンドツーエンドの学習を可能にし、性能の向上につながる。我々の知る限り、HardNetは1つ以上の入力依存不等式制約を強制する効率的なフォワードパスを持つ最初の手法である。HardNetは、ネットワークの出力に微分可能な閉形式の強制レイヤーを付加することで、標準的なアルゴリズムを用いたネットワークパラメーターの制約のない最適化を可能にする。さらに、HardNetがニューラルネットワークの普遍的な近似能力を保持していることを示す。HardNetの多用途性と有効性を様々なアプリケーションで実証する：区分的制約の学習、最適化ソルバーの学習、セーフティクリティカルなシステムにおける制御ポリシーの最適化、航空機システムの安全な決定ロジックの学習。

要約(オリジナル)

Incorporating prior knowledge or specifications of input-output relationships into machine learning models has gained significant attention, as it enhances generalization from limited data and leads to conforming outputs. However, most existing approaches use soft constraints by penalizing violations through regularization, which offers no guarantee of constraint satisfaction–an essential requirement in safety-critical applications. On the other hand, imposing hard constraints on neural networks may hinder their representational power, adversely affecting performance. To address this, we propose HardNet, a practical framework for constructing neural networks that inherently satisfy hard constraints without sacrificing model capacity. Unlike approaches that modify outputs only at inference time, HardNet enables end-to-end training with hard constraint guarantees, leading to improved performance. To the best of our knowledge, HardNet is the first method with an efficient forward pass to enforce more than one input-dependent inequality constraint. It allows unconstrained optimization of the network parameters using standard algorithms by appending a differentiable closed-form enforcement layer to the network’s output. Furthermore, we show that HardNet retains the universal approximation capabilities of neural networks. We demonstrate the versatility and effectiveness of HardNet across various applications: learning with piecewise constraints, learning optimization solvers, optimizing control policies in safety-critical systems, and learning safe decision logic for aircraft systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL