Hard-Constrained Neural Networks with Universal Approximation Guarantees

要約

入出力関係に関する事前の知識または仕様を機械学習モデルに組み込むことは、限られたデータからの一般化を強化し、適合する出力につながるため、大きな注目を集めています。
しかし、既存のアプローチのほとんどは、正則化を通じて違反にペナルティを与えることによってソフト制約を使用しており、安全性が重要なアプリケーションでは不可欠な要件である制約を満たす保証はありません。
一方で、ニューラル ネットワークに厳しい制約を課すと、その表現力が妨げられ、パフォーマンスに悪影響を及ぼす可能性があります。
これに対処するために、モデルの能力を犠牲にすることなく本質的にハード制約を満たすニューラル ネットワークを構築するための実用的なフレームワークである HardNet を提案します。
具体的には、微分可能な射影層をネットワークの出力に追加することにより、入力と出力の両方に依存するアフィンおよび凸のハード制約をエンコードします。
このアーキテクチャでは、構築による制約の満足を確保しながら、標準アルゴリズムを使用してネットワーク パラメータを制約なく最適化できます。
さらに、HardNet がニューラル ネットワークの普遍的な近似機能を保持していることを示します。
制約の下での関数のフィッティング、最適化ソルバーの学習、セーフティクリティカルなシステムにおける制御ポリシーの最適化、航空機システムの安全な決定ロジックの学習など、さまざまなアプリケーションにわたる HardNet の多用途性と有効性を実証します。

要約(オリジナル)

Incorporating prior knowledge or specifications of input-output relationships into machine learning models has gained significant attention, as it enhances generalization from limited data and leads to conforming outputs. However, most existing approaches use soft constraints by penalizing violations through regularization, which offers no guarantee of constraint satisfaction — an essential requirement in safety-critical applications. On the other hand, imposing hard constraints on neural networks may hinder their representational power, adversely affecting performance. To address this, we propose HardNet, a practical framework for constructing neural networks that inherently satisfy hard constraints without sacrificing model capacity. Specifically, we encode affine and convex hard constraints, dependent on both inputs and outputs, by appending a differentiable projection layer to the network’s output. This architecture allows unconstrained optimization of the network parameters using standard algorithms while ensuring constraint satisfaction by construction. Furthermore, we show that HardNet retains the universal approximation capabilities of neural networks. We demonstrate the versatility and effectiveness of HardNet across various applications: fitting functions under constraints, learning optimization solvers, optimizing control policies in safety-critical systems, and learning safe decision logic for aircraft systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google