Learning Curves for Heterogeneous Feature-Subsampled Ridge Ensembles

要約

特徴バギングは、特徴のランダムなサブサンプルまたは投影に基づいてアンサンブル内の推定器をトレーニングすることにより、予測の分散を削減することを目的とした、確立されたアンサンブル手法です。
通常、アンサンブルは均一になるように選択されます。これは、推定に利用できる特徴次元の数がアンサンブル全体で均一であるという意味です。
ここでは、さまざまな数の特徴次元に基づいて構築された推定器を使用した異種特徴アンサンブルを導入し、線形回帰設定でのパフォーマンスを検討します。
利用可能な特徴のサブセットに対するリッジ回帰を使用して各近似を行う線形予測子のアンサンブルを研究します。
これらのサブセットに含まれる機能の数が変化することを許可します。
統計物理学からのレプリカ トリックを使用して、決定論的な線形マスクを使用したリッジ アンサンブルの学習曲線を導き出します。
等方性特徴ノイズを伴う等相関データの場合の学習曲線の明示的な式が得られます。
導出された式を使用して、サブサンプリングとアンサンブルの効果を調査し、ノイズ レベル、データ相関、データとタスクの調整のパラメーター空間における最適なアンサンブル戦略の急激な遷移を見つけます。
最後に、実際に堅牢な機械学習を実現するために二重降下を軽減する戦略として、可変次元特徴のバギングを提案します。

要約(オリジナル)

Feature bagging is a well-established ensembling method which aims to reduce prediction variance by training estimators in an ensemble on random subsamples or projections of features. Typically, ensembles are chosen to be homogeneous, in the sense the the number of feature dimensions available to an estimator is uniform across the ensemble. Here, we introduce heterogeneous feature ensembling, with estimators built on varying number of feature dimensions, and consider its performance in a linear regression setting. We study an ensemble of linear predictors, each fit using ridge regression on a subset of the available features. We allow the number of features included in these subsets to vary. Using the replica trick from statistical physics, we derive learning curves for ridge ensembles with deterministic linear masks. We obtain explicit expressions for the learning curves in the case of equicorrelated data with an isotropic feature noise. Using the derived expressions, we investigate the effect of subsampling and ensembling, finding sharp transitions in the optimal ensembling strategy in the parameter space of noise level, data correlations, and data-task alignment. Finally, we suggest variable-dimension feature bagging as a strategy to mitigate double descent for robust machine learning in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google