Geometric Analysis of Unconstrained Feature Models with $d=K$

要約

最近、分類タスクのためのディープ ニューラル ネットワークのトレーニングの最終段階で、ニューラル コラプスとして知られる興味深い経験的現象が観察されました。
特徴の次元 d がクラス K の数に等しい場合に、この問題を調べます。 2 つの一般的な制約なし特徴モデルが厳密な鞍点関数であり、すべての臨界点がグローバル最小値または厳密な鞍点のいずれかであり、以下を使用して終了できることを示します。
負の曲率。
主な発見は、以前の記事の制約なし特徴モデルに関する推測を決定的に裏付けています。

要約(オリジナル)

Recently, interesting empirical phenomena known as Neural Collapse have been observed during the final phase of training deep neural networks for classification tasks. We examine this issue when the feature dimension d is equal to the number of classes K. We demonstrate that two popular unconstrained feature models are strict saddle functions, with every critical point being either a global minimum or a strict saddle point that can be exited using negative curvatures. The primary findings conclusively confirm the conjecture on the unconstrained feature models in previous articles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google