Empirical Risk Minimization for Losses without Variance

要約

この論文では、データが有限分散を持たず、$p \in (1,2)$ の $p$-th モーメントのみを持つヘビーテール設定の下での経験的リスク最小化問題を検討します。
切り捨てられた観察データに基づく推定手順を使用する代わりに、リスク値を最小化することによってオプティマイザーを選択します。
これらのリスク値は、注目すべき Catoni の方法 (Catoni、2012) を使用して確実に推定できます。
Catoni タイプの影響関数の構造のおかげで、一般化された汎用連鎖手法を使用して超過リスクの上限を確立できます。
さらに、計算問題も考慮します。
特に、ロバスト勾配降下アルゴリズムと経験的リスクベース手法という 2 種類の最適化手法を理論的に研究します。
広範な数値研究により、Catoni スタイルの推定による経験的リスクに基づくオプティマイザーが実際に他のベースラインよりも優れたパフォーマンスを示していることがわかりました。
これは、切り捨てられたデータに直接基づいて推定すると、満足のいく結果が得られない可能性があることを示しています。

要約(オリジナル)

This paper considers an empirical risk minimization problem under heavy-tailed settings, where data does not have finite variance, but only has $p$-th moment with $p \in (1,2)$. Instead of using estimation procedure based on truncated observed data, we choose the optimizer by minimizing the risk value. Those risk values can be robustly estimated via using the remarkable Catoni’s method (Catoni, 2012). Thanks to the structure of Catoni-type influence functions, we are able to establish excess risk upper bounds via using generalized generic chaining methods. Moreover, we take computational issues into consideration. We especially theoretically investigate two types of optimization methods, robust gradient descent algorithm and empirical risk-based methods. With an extensive numerical study, we find that the optimizer based on empirical risks via Catoni-style estimation indeed shows better performance than other baselines. It indicates that estimation directly based on truncated data may lead to unsatisfactory results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google