Learning Theory of Decentralized Robust Kernel-Based Learning Algorithm

要約

接続されたグラフとして表現できるネットワーク化されたシステムを利用することにより、カーネルヒルベルトスペース（RKHS）を再現するフレームワーク内で、新しい分散型の堅牢なカーネルベースの学習アルゴリズムを提案します。
堅牢な損失関数$ \ mathcal {l} _ \ sigma $ windowing関数$ w $と堅牢性スケーリングパラメーター$ \ sigma> 0 $によって誘導され、幅広い堅牢な損失を含むことができます。
その結果、提案されたアルゴリズムは、既存の分散型堅牢なカーネル学習スキームと基本的に異なる堅牢な回帰のための統一された分散学習フレームワークを効果的に提供します。
学習理論を厳密に確立し、アルゴリズムの包括的な収束分析を提供します。
分散型アルゴリズムから生成された各局所的な堅牢な推定器を使用して、回帰関数に近似できることを示します。
カーネルベースの積分演算子手法に基づいて、それぞれ平均平方距離、RKHSノルム、および一般化誤差に関して、各ローカル近似シーケンスの一般的な高信頼性収束境界を導き出します。
さらに、ローカルサンプルサイズの厳密な選択ルールを提供し、適切に選択されたステップサイズとスケーリングパラメーター$ \ sigma $の下で、分散型の堅牢なアルゴリズムが両方の規範で最適な学習率（対数因子まで）を達成できることを示します。
パラメーター$ \ sigma $は、堅牢性を向上させながら好ましい収束動作を確保するために不可欠であることが示されています。
地方分権化、サンプル選択、アルゴリズムの堅牢性、およびその収束間の固有のつながりが明確に反映されています。

要約(オリジナル)

We propose a new decentralized robust kernel-based learning algorithm within the framework of reproducing kernel Hilbert space (RKHS) by utilizing a networked system that can be represented as a connected graph. The robust loss function $\mathcal{L}_\sigma$ induced by a windowing function $W$ and a robustness scaling parameter $\sigma>0$, can encompass a broad spectrum of robust losses. Consequently, the proposed algorithm effectively provides a unified decentralized learning framework for robust regression, which fundamentally differs from the existing distributed robust kernel learning schemes, all of which are divide-and-conquer based. We rigorously establish the learning theory and offer a comprehensive convergence analysis for the algorithm. We show each local robust estimator generated from the decentralized algorithm can be utilized to approximate the regression function. Based on kernel-based integral operator techniques, we derive general high confidence convergence bounds for each local approximating sequence in terms of the mean square distance, RKHS norm, and generalization error, respectively. Moreover, we provide rigorous selection rules for local sample size and show that, under properly selected step size and scaling parameter $\sigma$, the decentralized robust algorithm can achieve optimal learning rates (up to logarithmic factors) in both norms. The parameter $\sigma$ is shown to be essential for enhancing robustness while also ensuring favorable convergence behavior. The intrinsic connection among decentralization, sample selection, robustness of the algorithm, and its convergence is clearly reflected.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google