Inducing Neural Collapse to a Fixed Hierarchy-Aware Frame for Reducing Mistake Severity

要約

ニューラル コラプスと呼ばれる、最近発見された興味深い現象があります。分類のためにディープ ニューラル ネットワークをトレーニングする最終段階で、クラス内の最後から 2 番目の特徴量と、すべてのフラット クラスの関連する分類子ベクトルがシンプレックス エクイアンギュラー タイトの頂点に崩壊します。
フレーム (ETF)。
最近の研究では、関連する分類子の重みを事前に計算された ETF に固定して、不均衡なデータでトレーニングするときにニューラルの崩壊を誘発し、学習した特徴の分離を最大化することで、この現象を悪用しようとしました。
この作業では、ディープ ニューラル ネットワークの線形分類器を ETF ではなく Hierarchy-Aware Frame (HAFrame) に固定し、コサイン類似度ベースの補助損失を使用して、階層を認識した最後から 2 番目の特徴を学習することを提案します。
HA フレーム。
3 から 12 の範囲の高さの階層を持つさまざまなスケールのいくつかのデータセットでトップ 1 の精度を維持しながら、私たちのアプローチがモデルの予測の誤りの重大度を減らすことを示します。近い将来、GitHub でコードをリリースします。

要約(オリジナル)

There is a recently discovered and intriguing phenomenon called Neural Collapse: at the terminal phase of training a deep neural network for classification, the within-class penultimate feature means and the associated classifier vectors of all flat classes collapse to the vertices of a simplex Equiangular Tight Frame (ETF). Recent work has tried to exploit this phenomenon by fixing the related classifier weights to a pre-computed ETF to induce neural collapse and maximize the separation of the learned features when training with imbalanced data. In this work, we propose to fix the linear classifier of a deep neural network to a Hierarchy-Aware Frame (HAFrame), instead of an ETF, and use a cosine similarity-based auxiliary loss to learn hierarchy-aware penultimate features that collapse to the HAFrame. We demonstrate that our approach reduces the mistake severity of the model’s predictions while maintaining its top-1 accuracy on several datasets of varying scales with hierarchies of heights ranging from 3 to 12. We will release our code on GitHub in the near future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google