Gain Confidence, Reduce Disappointment: A New Approach to Cross-Validation for Sparse Regression

要約

リッジ正則化スパース回帰には、設計行列と出力ベクトルの間の関係を解釈可能な方法で説明する特徴のサブセットの選択が含まれます。
線形回帰変数のスパース性とロバスト性を選択するには、リーブワンアウト相互検証などの手法がハイパーパラメーターの調整によく使用されます。
ただし、相互検証では通常、スパース回帰のコストが数桁増加します。
さらに、検証メトリクスはテストセット誤差のノイズの多い推定量であり、ハイパーパラメータの組み合わせが異なると、モデルに異なるノイズ量が与えられます。
したがって、これらのメトリクスに基づいて最適化すると、特に設定が不十分な場合、サンプル外の失望を招きやすくなります。
これに対処するために、私たちは 2 つの貢献を行います。
まず、一般化理論の文献を活用して、サンプル外の失望の傾向が少ない、信頼度を調整した 1 つ抜きのバリエーションを提案します。
第 2 に、混合整数の文献からのアイデアを活用して、信頼度調整されたリーブ ワン アウトの計算上扱いやすい緩和を取得し、それによって多くの MIO を解決せずに緩和を最小限に抑えます。
私たちの緩和により効率的な座標降下スキームが生まれ、文献にある他の方法よりも大幅に低いリーブワンアウトエラーを得ることができます。
私たちは、GLMNet などの一般的な方法よりも大幅にまばらで比較的正確な解が得られ、サンプル外の失望が少ないことを実証することで理論を検証します。
合成データセットでは、信頼度調整手順により生成される誤検出が大幅に減少し、信頼度調整を行わない相互検証と比較してサンプル外のパフォーマンスが 2 ～ 5% 向上します。
13 個の実データセット全体にわたって、手順の校正バージョンでは、信頼度調整を行わない相互検証と比較して、テスト セットの誤差が平均 4% 改善されました。

要約(オリジナル)

Ridge regularized sparse regression involves selecting a subset of features that explains the relationship between a design matrix and an output vector in an interpretable manner. To select the sparsity and robustness of linear regressors, techniques like leave-one-out cross-validation are commonly used for hyperparameter tuning. However, cross-validation typically increases the cost of sparse regression by several orders of magnitude. Additionally, validation metrics are noisy estimators of the test-set error, with different hyperparameter combinations giving models with different amounts of noise. Therefore, optimizing over these metrics is vulnerable to out-of-sample disappointment, especially in underdetermined settings. To address this, we make two contributions. First, we leverage the generalization theory literature to propose confidence-adjusted variants of leave-one-out that display less propensity to out-of-sample disappointment. Second, we leverage ideas from the mixed-integer literature to obtain computationally tractable relaxations of confidence-adjusted leave-one-out, thereby minimizing it without solving as many MIOs. Our relaxations give rise to an efficient coordinate descent scheme which allows us to obtain significantly lower leave-one-out errors than via other methods in the literature. We validate our theory by demonstrating we obtain significantly sparser and comparably accurate solutions than via popular methods like GLMNet and suffer from less out-of-sample disappointment. On synthetic datasets, our confidence adjustment procedure generates significantly fewer false discoveries, and improves out-of-sample performance by 2-5% compared to cross-validating without confidence adjustment. Across a suite of 13 real datasets, a calibrated version of our procedure improves the test set error by an average of 4% compared to cross-validating without confidence adjustment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google