Overcoming Saturation in Density Ratio Estimation by Iterated Regularization

要約

有限個のサンプルから 2 つの確率密度の比を推定することは、機械学習と統計の中心的なタスクです。
この研究では、密度比推定のための大規模なクラスのカーネル手法が誤差飽和の影響を受けており、そのためアルゴリズムが規則性の高い学習問題で高速な誤差収束率を達成することができないことを示します。
飽和を解決するために、密度比推定に反復正則化を導入し、高速なエラー率を達成します。
私たちの手法は、密度比推定のベンチマークや、深い教師なし領域適応モデルの重要度重み付きアンサンブルの大規模評価において、非反復正則化バージョンよりも優れた性能を発揮します。

要約(オリジナル)

Estimating the ratio of two probability densities from finitely many samples, is a central task in machine learning and statistics. In this work, we show that a large class of kernel methods for density ratio estimation suffers from error saturation, which prevents algorithms from achieving fast error convergence rates on highly regular learning problems. To resolve saturation, we introduce iterated regularization in density ratio estimation to achieve fast error rates. Our methods outperform its non-iteratively regularized versions on benchmarks for density ratio estimation as well as on large-scale evaluations for importance-weighted ensembling of deep unsupervised domain adaptation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google