Understanding Imbalanced Semantic Segmentation Through Neural Collapse

要約

最近の研究では、分類のための学習の終盤に、特徴のクラス内平均と分類器の重みベクトルが、単純な等角タイトフレームの頂点に収束する神経崩壊と呼ばれる現象が示されている。本論文では、意味分割における最終層の特徴中心と分類器の対応構造を探索する。経験的、理論的な分析に基づき、我々は、意味的セグメンテーションが自然に文脈相関とクラス間の不均衡な分布をもたらし、それが特徴中心と分類器の両方について、神経崩壊の等角と最大分離構造を破ることを指摘する。しかし、このような対称的な構造は、マイナークラスの識別に有益である。これらの利点を維持するために、我々は特徴中心に対して正則化を導入し、不均衡な意味分割において、ネットワークが訴求構造に近い特徴を学習するように促す。実験の結果、我々の手法は2次元と3次元の両方の意味分割ベンチマークにおいて、大幅な改善をもたらすことができた。さらに、ScanNet200のテストリーダーボードにおいて、本手法は1位となり、新記録(+6.8% mIoU)を達成しました。コードは https://github.com/dvlab-research/Imbalanced-Learning で公開される予定です。

要約(オリジナル)

A recent study has shown a phenomenon called neural collapse in that the within-class means of features and the classifier weight vectors converge to the vertices of a simplex equiangular tight frame at the terminal phase of training for classification. In this paper, we explore the corresponding structures of the last-layer feature centers and classifiers in semantic segmentation. Based on our empirical and theoretical analysis, we point out that semantic segmentation naturally brings contextual correlation and imbalanced distribution among classes, which breaks the equiangular and maximally separated structure of neural collapse for both feature centers and classifiers. However, such a symmetric structure is beneficial to discrimination for the minor classes. To preserve these advantages, we introduce a regularizer on feature centers to encourage the network to learn features closer to the appealing structure in imbalanced semantic segmentation. Experimental results show that our method can bring significant improvements on both 2D and 3D semantic segmentation benchmarks. Moreover, our method ranks 1st and sets a new record (+6.8% mIoU) on the ScanNet200 test leaderboard. Code will be available at https://github.com/dvlab-research/Imbalanced-Learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL