Deep Learning Optimization Using Self-Adaptive Weighted Auxiliary Variables

要約

この論文では、完全に接続されたニューラルネットワークまたは物理学に基づいたニューラルネットワークを介して、最小二乗学習問題のための新しい最適化フレームワークを開発します。
勾配降下は、損失関数の非信頼性と消失勾配の問題のために、深い学習で非効率的に動作することがあります。
私たちのアイデアは、補助変数を導入して、深いニューラルネットワークの層を分離し、最適化を容易にするために損失関数を再定式化することです。
私たちは、自己適応の重みを設計して、再定義された損失と元の平均四角損失との一貫性を維持します。これにより、新しい損失を最適化することで、元の問題が最適化されることが保証されます。
一貫性を検証し、勾配降下よりもモデルの有効性と堅牢性を示すために数値実験が提示されています。

要約(オリジナル)

In this paper, we develop a new optimization framework for the least squares learning problem via fully connected neural networks or physics-informed neural networks. The gradient descent sometimes behaves inefficiently in deep learning because of the high non-convexity of loss functions and the vanishing gradient issue. Our idea is to introduce auxiliary variables to separate the layers of the deep neural networks and reformulate the loss functions for ease of optimization. We design the self-adaptive weights to preserve the consistency between the reformulated loss and the original mean squared loss, which guarantees that optimizing the new loss helps optimize the original problem. Numerical experiments are presented to verify the consistency and show the effectiveness and robustness of our models over gradient descent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google