Controlling Neural Collapse Enhances Out-of-Distribution Detection and Transfer Learning

要約

分散除外（OOD）検出とOOD一般化は、深いニューラルネットワーク（DNNS）で広く研究されていますが、その関係はよく理解されていません。
ネットワーク層の神経崩壊（NC）の程度がこれらの目的と反比例していることを経験的に示します。NCが強力なNCはOOD検出を改善しますが、一般化を分解しますが、NCは検出コストで一般化を強化します。
このトレードオフは、単一の機能空間が両方のタスクを同時に達成できないことを示唆しています。
これに対処するために、NCをOOD検出と一般化にリンクする理論的フレームワークを開発します。
エントロピーの正則化により、NCが一般化を改善するためにNCを緩和し、固定シンプレックス等角タイトフレーム（ETF）プロジェクターがNCを強化するためにNCを強化することを示します。
これらの洞察に基づいて、さまざまなDNN層でNCを制御する方法を提案します。
実験では、私たちの方法は、OODデータセットとDNNアーキテクチャの両方のタスクで優れています。

要約(オリジナル)

Out-of-distribution (OOD) detection and OOD generalization are widely studied in Deep Neural Networks (DNNs), yet their relationship remains poorly understood. We empirically show that the degree of Neural Collapse (NC) in a network layer is inversely related with these objectives: stronger NC improves OOD detection but degrades generalization, while weaker NC enhances generalization at the cost of detection. This trade-off suggests that a single feature space cannot simultaneously achieve both tasks. To address this, we develop a theoretical framework linking NC to OOD detection and generalization. We show that entropy regularization mitigates NC to improve generalization, while a fixed Simplex Equiangular Tight Frame (ETF) projector enforces NC for better detection. Based on these insights, we propose a method to control NC at different DNN layers. In experiments, our method excels at both tasks across OOD datasets and DNN architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google