Implicit Regularization Paths of Weighted Neural Representations

要約

事前学習された特徴の (観察) 重み付けによって誘発される暗黙的な正則化効果を研究します。
(正規化された) 追跡汎関数に関して無限小自由な有界演算子ノルムの重み行列と特徴行列の場合、異なる重み行列とリッジ正則化レベルを接続する等価パスを導出します。
具体的には、同じパスに沿った重み付けされた特徴でトレーニングされたリッジ推定器が、有界ノルムのテスト ベクトルに対して評価された場合に漸近的に等価であることを示します。
これらのパスは、重み付けされた特徴を備えたリッジ推定器の有効自由度に一致すると解釈できます。
非置換のサブサンプリングという特殊なケースでは、我々の結果は独立してサンプリングされたランダム特徴とカーネル特徴に適用され、Patil et al. のそのようなパスの存在に関する著者らの最近の予想 (予想 7 および 8) を裏付けます。
また、重み付き推定量のアンサンブルの加法的リスク分解を提示し、アンサンブルのサイズが無限大になったときにリスクがパスに沿って等価であることを示します。
パスの等価性の実際的な結果として、調整のための効率的な相互検証方法を開発し、それをいくつかのモデル (ResNet-50 など) とデータセット (CIFAR-100 など) にわたるサブサンプリングされた事前トレーニング済み表現に適用します。

要約(オリジナル)

We study the implicit regularization effects induced by (observation) weighting of pretrained features. For weight and feature matrices of bounded operator norms that are infinitesimally free with respect to (normalized) trace functionals, we derive equivalence paths connecting different weighting matrices and ridge regularization levels. Specifically, we show that ridge estimators trained on weighted features along the same path are asymptotically equivalent when evaluated against test vectors of bounded norms. These paths can be interpreted as matching the effective degrees of freedom of ridge estimators fitted with weighted features. For the special case of subsampling without replacement, our results apply to independently sampled random features and kernel features and confirm recent conjectures (Conjectures 7 and 8) of the authors on the existence of such paths in Patil et al. We also present an additive risk decomposition for ensembles of weighted estimators and show that the risks are equivalent along the paths when the ensemble size goes to infinity. As a practical consequence of the path equivalences, we develop an efficient cross-validation method for tuning and apply it to subsampled pretrained representations across several models (e.g., ResNet-50) and datasets (e.g., CIFAR-100).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google