Hypernym Bias: Unraveling Deep Classifier Training Dynamics through the Lens of Class Hierarchy

要約

トレーニング中にクラス間の階層的な関係がどのように進化するかを調べることにより、深い分類器のトレーニングダイナミクスを調査します。
広範な実験を通じて、分類問題の学習プロセスは、ラベルクラスタリングのレンズを通して理解できると主張します。
具体的には、ネットワークはトレーニングの初期段階で高レベル（HyperNym）カテゴリを区別し、より具体的な（仮説）カテゴリを後で学習する傾向があることを観察します。
トレーニング中の機能マニホールドの進化を追跡するための新しいフレームワークを紹介し、階級関係の階層がどのように出現し、ネットワークレイヤー全体に洗練されるかを明らかにします。
私たちの分析は、学習した表現がデータセットのセマンティック構造と密接に一致し、クラスタリングプロセスの定量的な説明を提供することを示しています。
特に、HyperNymラベル空間では、神経崩壊の特定の特性が仮説ラベル空間よりも早く現れることを示しており、学習の初期段階と末端段階の間のギャップを埋めるのに役立つことを示しています。
私たちの調査結果は、深いネットワークで階層学習を促進するメカニズムに関する新しい洞察を提供し、深い学習ダイナミクスを理解するための将来の進歩への道を開いていると考えています。

要約(オリジナル)

We investigate the training dynamics of deep classifiers by examining how hierarchical relationships between classes evolve during training. Through extensive experiments, we argue that the learning process in classification problems can be understood through the lens of label clustering. Specifically, we observe that networks tend to distinguish higher-level (hypernym) categories in the early stages of training, and learn more specific (hyponym) categories later. We introduce a novel framework to track the evolution of the feature manifold during training, revealing how the hierarchy of class relations emerges and refines across the network layers. Our analysis demonstrates that the learned representations closely align with the semantic structure of the dataset, providing a quantitative description of the clustering process. Notably, we show that in the hypernym label space, certain properties of neural collapse appear earlier than in the hyponym label space, helping to bridge the gap between the initial and terminal phases of learning. We believe our findings offer new insights into the mechanisms driving hierarchical learning in deep networks, paving the way for future advancements in understanding deep learning dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google