Neural Fields with Hard Constraints of Arbitrary Differential Order

要約

ディープラーニング技術は、幅広い最適化問題を解決するために非常に普及していますが、特にディープ ニューラル ネットワークにおいて、最適化中にハード制約を強制する方法は未開発のままです。
メッシュレス内挿に関する豊富な文献と、科学技術コンピューティングにおけるスペクトル コロケーション手法への拡張に関する豊富な文献に触発されて、私たちはニューラル フィールドにハード制約を強制するための一連のアプローチを開発しました。これを制約付きニューラル フィールド (CNF) と呼びます。
制約は、ニューラル フィールドとその導関数に適用される線形演算子として指定できます。
また、システムのコンディショニング、メモリ消費、制約されたときのネットワーク容量など、標準モデルが困難に直面する可能性がある問題に対応するための、特定のモデル表現とトレーニング戦略も設計します。
私たちのアプローチは、現実世界の幅広いアプリケーションで実証されています。
さらに、非常に効率的なモデルと制約の仕様を可能にするフレームワークを開発します。これは、最適化中にハード制約を明示的に満たす必要がある下流タスクに容易に適用できます。

要約(オリジナル)

While deep learning techniques have become extremely popular for solving a broad range of optimization problems, methods to enforce hard constraints during optimization, particularly on deep neural networks, remain underdeveloped. Inspired by the rich literature on meshless interpolation and its extension to spectral collocation methods in scientific computing, we develop a series of approaches for enforcing hard constraints on neural fields, which we refer to as Constrained Neural Fields (CNF). The constraints can be specified as a linear operator applied to the neural field and its derivatives. We also design specific model representations and training strategies for problems where standard models may encounter difficulties, such as conditioning of the system, memory consumption, and capacity of the network when being constrained. Our approaches are demonstrated in a wide range of real-world applications. Additionally, we develop a framework that enables highly efficient model and constraint specification, which can be readily applied to any downstream task where hard constraints need to be explicitly satisfied during optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google