Learning solutions to some toy constrained optimization problems in infinite dimensional Hilbert spaces

要約

この研究では、無限次元ヒルベルト空間における 2 つの一般的な理論上の制約付き最適化アルゴリズム、つまりペナルティ法と拡張ラグランジュ法についての深層学習の実装を紹介します。
これらのアルゴリズムを、変分法または物理学に由来するいくつかのおもちゃの問題でテストします。
両方の方法がテスト問題に対して適切な近似を生成でき、生成されるさまざまな誤差の点で同等であることを示します。
ラグランジュ乗数更新ルールはペナルティ法で部分問題を解くよりも計算コストが低いという一般的な現象を利用して、制約関数の出力自体が関数である場合に大幅な高速化を実現します。

要約(オリジナル)

In this work we present deep learning implementations of two popular theoretical constrained optimization algorithms in infinite dimensional Hilbert spaces, namely, the penalty and the augmented Lagrangian methods. We test these algorithms on some toy problems originating in either calculus of variations or physics. We demonstrate that both methods are able to produce decent approximations for the test problems and are comparable in terms of different errors produced. Leveraging the common occurrence of the Lagrange multiplier update rule being computationally less expensive than solving subproblems in the penalty method, we achieve significant speedups in cases when the output of the constraint function is itself a function.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google