Dynamic Decoupling of Placid Terminal Attractor-based Gradient Descent Algorithm

要約

勾配降下法 (GD) と確率的勾配降下法 (SGD) は、多数のアプリケーション ドメインで広く使用されています。
したがって、GD のダイナミクスを理解し、その収束速度を向上させることが依然として非常に重要です。
この論文では、勾配流のさまざまな段階におけるターミナル アトラクターに基づいて GD のダイナミクスを注意深く分析しています。
ターミナルスライディングモード理論とターミナルアトラクター理論に基づいて,4つの適応学習率を設計した。
詳細な理論的調査に基づいてそれらのパフォーマンスが調査され、学習手順の実行時間が評価および比較されます。
彼らの学習プロセスの合計時間も詳細に調査されています。
その有効性を評価するために、関数近似問題と画像分類問題についてさまざまなシミュレーション結果を調査しました。

要約(オリジナル)

Gradient descent (GD) and stochastic gradient descent (SGD) have been widely used in a large number of application domains. Therefore, understanding the dynamics of GD and improving its convergence speed is still of great importance. This paper carefully analyzes the dynamics of GD based on the terminal attractor at different stages of its gradient flow. On the basis of the terminal sliding mode theory and the terminal attractor theory, four adaptive learning rates are designed. Their performances are investigated in light of a detailed theoretical investigation, and the running times of the learning procedures are evaluated and compared. The total times of their learning processes are also studied in detail. To evaluate their effectiveness, various simulation results are investigated on a function approximation problem and an image classification problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google