CoRe Optimizer: An All-in-One Solution for Machine Learning

要約

最適化アルゴリズムとそのハイパーパラメータは、機械学習アプリケーションにおけるトレーニング速度と結果として得られるモデルの精度に大きな影響を与える可能性があります。
理想的なオプティマイザーの要望リストには、低エラー、低計算要求、一般的な適用性への高速かつスムーズな収束が含まれます。
最近導入された継続的復元 (CoRe) オプティマイザーは、生涯にわたる機械学習の可能性をトレーニングするための他の最先端の一次勾配ベースのオプティマイザーと比較して優れたパフォーマンスを示しています。
この研究では、CoRe オプティマイザーと、Adam オプティマイザーや Resilient Backpropagation (RPROP) を含む他の 9 つの最適化アルゴリズムの広範なパフォーマンス比較を、さまざまな機械学習タスク向けに提供します。
さまざまなハイパーパラメータの影響を分析し、一般的に適用可能な値を提供します。
CoRe オプティマイザーは、調査対象のすべてのアプリケーションで最高のパフォーマンスまたは競争力のあるパフォーマンスをもたらしますが、ミニバッチまたはバッチ学習に応じて変更する必要があるハイパーパラメーターは 1 つだけです。

要約(オリジナル)

The optimization algorithm and its hyperparameters can significantly affect the training speed and resulting model accuracy in machine learning applications. The wish list for an ideal optimizer includes fast and smooth convergence to low error, low computational demand, and general applicability. Our recently introduced continual resilient (CoRe) optimizer has shown superior performance compared to other state-of-the-art first-order gradient-based optimizers for training lifelong machine learning potentials. In this work we provide an extensive performance comparison of the CoRe optimizer and nine other optimization algorithms including the Adam optimizer and resilient backpropagation (RPROP) for diverse machine learning tasks. We analyze the influence of different hyperparameters and provide generally applicable values. The CoRe optimizer yields best or competitive performance in every investigated application, while only one hyperparameter needs to be changed depending on mini-batch or batch learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google