Unleashing the power of Neural Collapse for Transferability Estimation

要約

伝達性の推定は、すべてを微調整することなく、事前トレーニングされたモデルが特定の下流タスクにどの程度適しているかを定量化するためのヒューリスティックを提供することを目的としています。
これまでの研究により、よく訓練されたモデルは神経崩壊現象を示すことが明らかになりました。
既存の文献で広く使用されている神経崩壊メトリクスに基づいて、事前トレーニングされたモデルの神経崩壊とそれに対応する微調整されたモデルとの間に強い相関関係が観察されました。
この観察に触発されて、我々は、事前訓練されたモデルにおける神経崩壊の程度を包括的に測定することによって伝達性を推定するためのFair Collapse (FaCe)と呼ばれる新しい方法を提案します。
通常、FaCe は 2 つの異なる項で構成されます。1 つはクラス分離とクラス内のコンパクト性を評価する分散崩壊項、もう 1 つは各クラスに対する事前トレーニングされたモデルの公平性を定量化するクラス公平性項です。
私たちは、さまざまなネットワーク アーキテクチャ、ソース データセット、トレーニング損失関数にわたるさまざまな事前トレーニング済み分類モデルに基づいて FaCe を調査します。
結果は、FaCe が画像分類、セマンティック セグメンテーション、テキスト分類などのさまざまなタスクで最先端のパフォーマンスを発揮することを示しており、これは私たちの手法の有効性と一般化を示しています。

要約(オリジナル)

Transferability estimation aims to provide heuristics for quantifying how suitable a pre-trained model is for a specific downstream task, without fine-tuning them all. Prior studies have revealed that well-trained models exhibit the phenomenon of Neural Collapse. Based on a widely used neural collapse metric in existing literature, we observe a strong correlation between the neural collapse of pre-trained models and their corresponding fine-tuned models. Inspired by this observation, we propose a novel method termed Fair Collapse (FaCe) for transferability estimation by comprehensively measuring the degree of neural collapse in the pre-trained model. Typically, FaCe comprises two different terms: the variance collapse term, which assesses the class separation and within-class compactness, and the class fairness term, which quantifies the fairness of the pre-trained model towards each class. We investigate FaCe on a variety of pre-trained classification models across different network architectures, source datasets, and training loss functions. Results show that FaCe yields state-of-the-art performance on different tasks including image classification, semantic segmentation, and text classification, which demonstrate the effectiveness and generalization of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google