Double Descent Meets Out-of-Distribution Detection: Theoretical Insights and Empirical Analysis on the role of model complexity

要約

過剰パラメータ化は一般化に利益をもたらすことが知られていますが、配信外 (OOD) 検出への影響はあまり理解されていません。
この論文では、OOD 検出におけるモデルの複雑さの影響を調査します。
トレーニングと OOD サンプルの両方に対する分類器の信頼性を評価するために、予想される OOD リスク メトリックを提案します。
ランダム行列理論を活用して、ガウス データに適用されるバイナリ最小二乗分類器の予想される OOD リスクの限界を導き出します。
パラメーターの数がサンプルの数と等しい場合、OOD リスクは無限のピークを示し、これが二重降下現象と関連付けられることを示します。
複数のニューラル アーキテクチャにわたるさまざまな OOD 検出方法に関する実験的研究は、理論的な洞察を拡張し、二重降下曲線を強調します。
私たちの観察は、過剰なパラメータ化が必ずしも OOD 検出の向上につながるわけではないことを示唆しています。
Neural Collapse フレームワークを使用して、この動作をより深く理解するための洞察を提供します。
再現性を高めるため、コードは公開と同時に公開されます。

要約(オリジナル)

While overparameterization is known to benefit generalization, its impact on Out-Of-Distribution (OOD) detection is less understood. This paper investigates the influence of model complexity in OOD detection. We propose an expected OOD risk metric to evaluate classifiers confidence on both training and OOD samples. Leveraging Random Matrix Theory, we derive bounds for the expected OOD risk of binary least-squares classifiers applied to Gaussian data. We show that the OOD risk depicts an infinite peak, when the number of parameters is equal to the number of samples, which we associate with the double descent phenomenon. Our experimental study on different OOD detection methods across multiple neural architectures extends our theoretical insights and highlights a double descent curve. Our observations suggest that overparameterization does not necessarily lead to better OOD detection. Using the Neural Collapse framework, we provide insights to better understand this behavior. To facilitate reproducibility, our code will be made publicly available upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google