Hybrid Coordinate Descent for Efficient Neural Network Learning Using Line Search and Gradient Descent

要約

本論文では、二乗誤差損失関数のパラメータ更新のために、一方向の線探索と勾配情報の組み合わせを活用した新しい座標降下アルゴリズムを提案する。各パラメータは、そのパラメータに関する損失の勾配のモジュラスが予め定義された閾値を超えるかどうかに応じて、線探索または勾配法のいずれかによって決定される更新を受ける。注目すべきは、閾値を大きくすることでアルゴリズムの効率が向上することである。線探索法は勾配降下法に比べて低速である可能性があるにもかかわらず、並列化可能であるため計算時間の短縮が容易である。合成データを用いた2層整流線形単位ネットワークを用いた実験的検証により、ハイパーパラメータが収束率と計算効率に与える影響が明らかになった。

要約(オリジナル)

This paper presents a novel coordinate descent algorithm leveraging a combination of one-directional line search and gradient information for parameter updates for a squared error loss function. Each parameter undergoes updates determined by either the line search or gradient method, contingent upon whether the modulus of the gradient of the loss with respect to that parameter surpasses a predefined threshold. Notably, a larger threshold value enhances algorithmic efficiency. Despite the potentially slower nature of the line search method relative to gradient descent, its parallelizability facilitates computational time reduction. Experimental validation conducted on a 2-layer Rectified Linear Unit network with synthetic data elucidates the impact of hyperparameters on convergence rates and computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL