Adaptive Stopping Rule for Kernel-based Gradient Descent Algorithms

要約

この論文では、カーネルベースの勾配降下法 (KGD) アルゴリズムの適応停止規則を提案します。
KGD での反復の増分を定量化するために経験的な有効次元を導入し、実装可能な早期停止戦略を導き出します。
学習理論の枠組みで適応停止ルールのパフォーマンスを分析します。
最近開発された積分演算子アプローチを使用して、このルールを備えた KGD の最適な学習率を示すという観点から、適応停止ルールの最適性を厳密に証明します。
さらに、提案された早期停止ルールを備えた KGD の反復回数に対する明確な制限も、その計算上の利点を示すために与えられます。

要約(オリジナル)

In this paper, we propose an adaptive stopping rule for kernel-based gradient descent (KGD) algorithms. We introduce the empirical effective dimension to quantify the increments of iterations in KGD and derive an implementable early stopping strategy. We analyze the performance of the adaptive stopping rule in the framework of learning theory. Using the recently developed integral operator approach, we rigorously prove the optimality of the adaptive stopping rule in terms of showing the optimal learning rates for KGD equipped with this rule. Furthermore, a sharp bound on the number of iterations in KGD equipped with the proposed early stopping rule is also given to demonstrate its computational advantage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google