Learning Prototype Classifiers for Long-Tailed Recognition

要約

実世界における物体の基本的な分布がべき乗分布であることから、近年、長尾型認識(LTR)の問題が注目されている。LTRの最近の研究の多くは、ソフトマックス分類器を用いており、この分類器の規範は、与えられたクラスの学習データ量と相関する傾向がある。一方、プロトタイプ分類器はこのような欠点がなく、プロトタイプが経験的なセントロイドである特別なケースであるNearest-Class-Mean（NCM）を用いるだけで有望な結果を出すことができる。しかし、LTRにおけるsoftmaxの代替としてのPrototype分類器の可能性は、比較的未解明である。本研究では、プロトタイプへの距離から得られる確率スコアに基づき、平均クロスエントロピー損失を最小化するプロトタイプを共同学習する、プロトタイプ分類器を提案する。ユークリッド距離ベースのプロトタイプ分類器の特性を理論的に解析し、外れ値に強い安定した勾配ベースの最適化を導く。さらに、チャンネルに依存する温度パラメータを学習することで、各チャンネルに沿った独立した距離スケールを可能にし、プロトタイプ分類器を強化する。解析の結果、Prototype分類器によって学習されたプロトタイプは、経験的なセントロイドよりもよく分離されることがわかった。4つのロングテール認識ベンチマークでの結果は、Prototype分類器が最先端手法を上回る、あるいは同等であることを示す。

要約(オリジナル)

The problem of long-tailed recognition (LTR) has received attention in recent years due to the fundamental power-law distribution of objects in the real-world. Most recent works in LTR use softmax classifiers that have a tendency to correlate classifier norm with the amount of training data for a given class. On the other hand, Prototype classifiers do not suffer from this shortcoming and can deliver promising results simply using Nearest-Class-Mean (NCM), a special case where prototypes are empirical centroids. However, the potential of Prototype classifiers as an alternative to softmax in LTR is relatively underexplored. In this work, we propose Prototype classifiers, which jointly learn prototypes that minimize average cross-entropy loss based on probability scores from distances to prototypes. We theoretically analyze the properties of Euclidean distance based prototype classifiers that leads to stable gradient-based optimization which is robust to outliers. We further enhance Prototype classifiers by learning channel-dependent temperature parameters to enable independent distance scales along each channel. Our analysis shows that prototypes learned by Prototype classifiers are better separated than empirical centroids. Results on four long-tailed recognition benchmarks show that Prototype classifier outperforms or is comparable to the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL