On the Robustness of Neural Collapse and the Neural Collapse of Robustness

要約

ニューラル崩壊とは、ニューラル ネットワークのトレーニングの最後に起こる奇妙な現象を指します。この現象では、特徴ベクトルと分類重みが非常に単純な幾何学的配置 (シンプレックス) に収束します。
これはさまざまなケースで経験的に観察され、理論的に動機づけられてきましたが、一般化やロバスト性などのニューラル ネットワークの重要な特性との関係は不明のままです。
この研究では、これらのシンプライスの安定性特性を研究します。
我々は、小規模な敵対的攻撃の下では単体構造が消失し、摂動された例が単体の頂点間を「跳躍」していることがわかりました。
さらに、入力の敵対的な摂動に対して堅牢になるように最適化されたネットワークのジオメトリを分析し、これらの場合にもニューラル崩壊が蔓延する現象であり、きれいな表現と摂動された表現が整列した単純表現を形成し、堅牢なネットワークを生み出すことを発見しました。
単純な最近傍分類器。
ネットワーク内の崩壊量の伝播を研究することで、ロバストな機械学習モデルとロバストでない機械学習モデルの両方の新しい特性を特定し、後の層とは異なり、初期の層が摂動データに対して信頼性の高い単純化を維持していることを示します。

要約(オリジナル)

Neural Collapse refers to the curious phenomenon in the end of training of a neural network, where feature vectors and classification weights converge to a very simple geometrical arrangement (a simplex). While it has been observed empirically in various cases and has been theoretically motivated, its connection with crucial properties of neural networks, like their generalization and robustness, remains unclear. In this work, we study the stability properties of these simplices. We find that the simplex structure disappears under small adversarial attacks, and that perturbed examples ‘leap’ between simplex vertices. We further analyze the geometry of networks that are optimized to be robust against adversarial perturbations of the input, and find that Neural Collapse is a pervasive phenomenon in these cases as well, with clean and perturbed representations forming aligned simplices, and giving rise to a robust simple nearest-neighbor classifier. By studying the propagation of the amount of collapse inside the network, we identify novel properties of both robust and non-robust machine learning models, and show that earlier, unlike later layers maintain reliable simplices on perturbed data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google