Inducing Neural Collapse to a Fixed Hierarchy-Aware Frame for Reducing Mistake Severity

要約

最近発見された、ニューラル コラプスと呼ばれる興味深い現象があります。分類用のディープ ニューラル ネットワークのトレーニングの最終段階で、クラス内の最後から 2 番目の特徴手段と、すべてのフラット クラスの関連する分類子ベクトルが、単体の頂点に崩壊します。
フレーム（ETF）。
最近の研究では、関連する分類子の重みを事前に計算された ETF に固定することでこの現象を利用して、不均衡なデータでトレーニングするときにニューラル崩壊を誘発し、学習された特徴の分離を最大化することが試みられています。
この研究では、ディープ ニューラル ネットワークの線形分類器を ETF ではなく階層認識フレーム (HAFrame) に固定し、コサイン類似度ベースの補助損失を使用して、階層を意識した最後から 2 番目の特徴を学習することを提案します。
HAフレーム。
私たちのアプローチは、3 から 12 の範囲の高さの階層を持つさまざまなスケールのいくつかのデータセットでトップ 1 の精度を維持しながら、モデルの予測の誤りの重大度を軽減することを実証します。 コード: https://github.com/ltong1130ztr/HAFrame

要約(オリジナル)

There is a recently discovered and intriguing phenomenon called Neural Collapse: at the terminal phase of training a deep neural network for classification, the within-class penultimate feature means and the associated classifier vectors of all flat classes collapse to the vertices of a simplex Equiangular Tight Frame (ETF). Recent work has tried to exploit this phenomenon by fixing the related classifier weights to a pre-computed ETF to induce neural collapse and maximize the separation of the learned features when training with imbalanced data. In this work, we propose to fix the linear classifier of a deep neural network to a Hierarchy-Aware Frame (HAFrame), instead of an ETF, and use a cosine similarity-based auxiliary loss to learn hierarchy-aware penultimate features that collapse to the HAFrame. We demonstrate that our approach reduces the mistake severity of the model’s predictions while maintaining its top-1 accuracy on several datasets of varying scales with hierarchies of heights ranging from 3 to 12. Code: https://github.com/ltong1130ztr/HAFrame

arxiv情報

提供元, 利用サービス

arxiv.jp, Google