Revisiting Randomization in Greedy Model Search

要約

ランダムフォレストなどのアンサンブルでランダム化された推定器を組み合わせることは、現代のデータサイエンスの基本的な手法となっていますが、計算上高価になる可能性があります。
さらに、これが予測パフォーマンスを改善するメカニズムはよく理解されていません。
これらの問題は、特徴サブサンプリングによってランダム化された貪欲なフォワード選択推定器のアンサンブルを提案および分析することにより、スパースリニア回帰のコンテキストで対処します。各反復で、ランダムサブセット内から最適な機能が選択されます。
計算効率を大幅に改善する動的プログラミングに基づいて、新しい実装を設計します。
さらに、慎重な数値実験を介して、幅広い設定にわたって、ラッソや弾性ネットなどの一般的な方法を上回ることができることを示しています。
次に、ランダム化されたアンサンブルは収縮に類似しているという一般的な信念に反して、数値実験で、トレーニングエラーと自由度を同時に減らし、それによりベース推定器のバイアス分散トレードオフ曲線全体をシフトできることを示します。
この事実は、直交の特徴の設定で厳密に証明します。その場合、アンサンブル推定器は、ロジスティック重量の2パラメーターファミリーで通常の最小二乗係数を再実行し、それによりモデル検索スペースを拡大します。
これらの結果は、ランダムな森林の理解を高め、一般的に暗黙的な正則化が明示的な正則化よりも複雑な効果をもたらす可能性があることを示唆しています。

要約(オリジナル)

Combining randomized estimators in an ensemble, such as via random forests, has become a fundamental technique in modern data science, but can be computationally expensive. Furthermore, the mechanism by which this improves predictive performance is poorly understood. We address these issues in the context of sparse linear regression by proposing and analyzing an ensemble of greedy forward selection estimators that are randomized by feature subsampling — at each iteration, the best feature is selected from within a random subset. We design a novel implementation based on dynamic programming that greatly improves its computational efficiency. Furthermore, we show via careful numerical experiments that our method can outperform popular methods such as lasso and elastic net across a wide range of settings. Next, contrary to prevailing belief that randomized ensembling is analogous to shrinkage, we show via numerical experiments that it can simultaneously reduce training error and degrees of freedom, thereby shifting the entire bias-variance trade-off curve of the base estimator. We prove this fact rigorously in the setting of orthogonal features, in which case, the ensemble estimator rescales the ordinary least squares coefficients with a two-parameter family of logistic weights, thereby enlarging the model search space. These results enhance our understanding of random forests and suggest that implicit regularization in general may have more complicated effects than explicit regularization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google