Optimality of Robust Online Learning

要約

タイトル：Robust Online Learningの最適性
要約：
– リプロデューシングカーネルヒルバート空間（RKHS）上の回帰のためのロバストな損失関数$ \mathcal {L} _ {\ sigma} $を持つオンライン学習アルゴリズムを研究する。
– スケーリングパラメータ$ \ sigma> 0 $を含む損失関数$ \mathcal {L}_ {\ sigma} $は、一般に使用される幅広いロバスト損失をカバーできる。
– 提案されたアルゴリズムは、条件付き平均関数を推定することを目的とするオンライン最小二乗回帰のロバストな代替である。
– 適切に選択された$ \sigma $とステップサイズに対して、このオンラインアルゴリズムの最後の反復が平均二乗距離で収束する場合、最適能力に依存しない収束を達成できることを示す。
– さらに、基盤となる関数空間に関する追加情報がある場合、RKHSでの強収束の最適能力に依存するレートを確立することもできる。
– 現存のオンライン学習の文献に対して、両方の結果が新しいということがわかっています。

要約(オリジナル)

In this paper, we study an online learning algorithm with a robust loss function $\mathcal{L}_{\sigma}$ for regression over a reproducing kernel Hilbert space (RKHS). The loss function $\mathcal{L}_{\sigma}$ involving a scaling parameter $\sigma>0$ can cover a wide range of commonly used robust losses. The proposed algorithm is then a robust alternative for online least squares regression aiming to estimate the conditional mean function. For properly chosen $\sigma$ and step size, we show that the last iterate of this online algorithm can achieve optimal capacity independent convergence in the mean square distance. Moreover, if additional information on the underlying function space is known, we also establish optimal capacity dependent rates for strong convergence in RKHS. To the best of our knowledge, both of the two results are new to the existing literature of online learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI