Discrepancies are Virtue: Weak-to-Strong Generalization through Lens of Intrinsic Dimension

要約

弱い（W2S）一般化は、弱い教師によって生成された擬似ラベルで強力な（大）生徒モデルが訓練される微調整（FT）の一種です。
驚くべきことに、W2S FTはしばしば弱い先生を上回ります。
私たちは、FTが本質的に低次元空間でしばしば発生するという観察を通して、この現象を理解しようとします。
FTの低い内因性次元を活用すると、分散削減の観点から、Ridgeless Regression設定のW2を分析します。
強力な生徒の場合 – 十分に表現力の低い低次元の特徴サブスペースを持つ弱い教師のペア$ \ mathcal {v} _s、\ mathcal {v} _w $、W2Sの一般化誤差を支配する分散の正確な特性評価を提供します。
これは、W2Sの強いモデルと弱いモデルの間の矛盾の美徳を明らかにします。弱い教師の分散は、$ \ Mathcal {v} _s \ cap \ mathcal {v} _w $で強い生徒に継承されますが、因子によって減少します。
$ \ dim（\ mathcal {v} _s）/n $の不一致のサブスペースの$ \ mathcal {v} _w \ setminus \ mathcal {v} _s $ with $ n $ pseudo-labels for w2s。
さらに、分析では、サンプルの複雑さと、W2Sのパフォーマンスギャップ回復のスケーリングに光を当てます。
この分析は、合成回帰問題と実際の視覚タスクの両方に関する実験でサポートされています。

要約(オリジナル)

Weak-to-strong (W2S) generalization is a type of finetuning (FT) where a strong (large) student model is trained on pseudo-labels generated by a weak teacher. Surprisingly, W2S FT often outperforms the weak teacher. We seek to understand this phenomenon through the observation that FT often occurs in intrinsically low-dimensional spaces. Leveraging the low intrinsic dimensionality of FT, we analyze W2S in the ridgeless regression setting from a variance reduction perspective. For a strong student – weak teacher pair with sufficiently expressive low-dimensional feature subspaces $\mathcal{V}_s, \mathcal{V}_w$, we provide an exact characterization of the variance that dominates the generalization error of W2S. This unveils a virtue of discrepancy between the strong and weak models in W2S: the variance of the weak teacher is inherited by the strong student in $\mathcal{V}_s \cap \mathcal{V}_w$, while reduced by a factor of $\dim(\mathcal{V}_s)/N$ in the subspace of discrepancy $\mathcal{V}_w \setminus \mathcal{V}_s$ with $N$ pseudo-labels for W2S. Further, our analysis casts light on the sample complexities and the scaling of performance gap recovery in W2S. The analysis is supported with experiments on both synthetic regression problems and real vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google