On the Identification and Optimization of Nonsmooth Superposition Operators in Semilinear Elliptic PDEs

要約

本論文では、半線形楕円偏微分方程式(PDE)の非線形部分におけるネミツキイ作用素を同定することを目的とした無限次元最適化問題を研究する。先行研究とは対照的に、我々はこの同定問題を、ネミツキイ作用素を誘導する関数が$H^1_{loc}(˶mathbb{R})$の要素であることしか事前に知られていない低規則性領域において考察する。このことは、未知の重ね合わせ演算子を非平滑活性化関数(ReLU, leaky-ReLUなど)を持つニューラルネットワークで近似する学習情報PDEsの学習問題の厳密な解析の出発点として、本研究の問題群を適している。制御の規則性が低いにもかかわらず、局所最小化子に対する古典的な定常系を導出し、勾配射影法によってこの問題を解くことが可能である。得られたアルゴリズムの収束性は、関数空間の設定において証明される。また、確立された一次の必要最適化条件から、局所最適な重ね合わせ演算子は、一般的に用いられる活性化関数と様々な特性を共有することが示される：それらは常にシグモイドであり、原点から連続的に微分可能であり、典型的にはゼロで明確なキンクを持つ。本論文は、理論的知見を確認する数値実験によって結ばれる。

要約(オリジナル)

We study an infinite-dimensional optimization problem that aims to identify the Nemytskii operator in the nonlinear part of a prototypical semilinear elliptic partial differential equation (PDE) which minimizes the distance between the PDE-solution and a given desired state. In contrast to previous works, we consider this identification problem in a low-regularity regime in which the function inducing the Nemytskii operator is a-priori only known to be an element of $H^1_{loc}(\mathbb{R})$. This makes the studied problem class a suitable point of departure for the rigorous analysis of training problems for learning-informed PDEs in which an unknown superposition operator is approximated by means of a neural network with nonsmooth activation functions (ReLU, leaky-ReLU, etc.). We establish that, despite the low regularity of the controls, it is possible to derive a classical stationarity system for local minimizers and to solve the considered problem by means of a gradient projection method. The convergence of the resulting algorithm is proven in the function space setting. It is also shown that the established first-order necessary optimality conditions imply that locally optimal superposition operators share various characteristic properties with commonly used activation functions: They are always sigmoidal, continuously differentiable away from the origin, and typically possess a distinct kink at zero. The paper concludes with numerical experiments which confirm the theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL