Decoupled Training for Long-Tailed Classification With Stochastic Representations

要約

タイトル：長尾データの確率表現を用いたデカップリングトレーニングによる学習

要約：

– 長尾データの分類において、表現学習と分類学習を分離することが効果的であるとされている。
– 効果的な分離学習を構築するには、表現抽出器のトレーニング方法と、長尾データ内のクラスの不均衡を扱って適切な決定境界を構築する分類器の再学習方法の2つの要素がある。
– この研究では、深層ニューラルネットワークの汎化能力を高めるための最適化技術であるStochastic Weight Averaging（SWA）を適用して、長尾分類のための汎用的な表現抽出器をより良く作成する。
– さらに、SWA-Gaussianから得られた確率表現と、自己蒸留戦略を用いて、不確実性推定に基づく多様な確率表現を活用して、より堅牢な分類器を構築するための新しい分類器再学習アルゴリズムを提案する。
– CIFAR10/100-LT、ImageNet-LT、iNaturalist-2018のベンチマークでの豊富な実験により、提案手法が従来の方法よりも予測精度と不確実性推定の面で改善されることが示された。

要約(オリジナル)

Decoupling representation learning and classifier learning has been shown to be effective in classification with long-tailed data. There are two main ingredients in constructing a decoupled learning scheme; 1) how to train the feature extractor for representation learning so that it provides generalizable representations and 2) how to re-train the classifier that constructs proper decision boundaries by handling class imbalances in long-tailed data. In this work, we first apply Stochastic Weight Averaging (SWA), an optimization technique for improving the generalization of deep neural networks, to obtain better generalizing feature extractors for long-tailed classification. We then propose a novel classifier re-training algorithm based on stochastic representation obtained from the SWA-Gaussian, a Gaussian perturbed SWA, and a self-distillation strategy that can harness the diverse stochastic representations based on uncertainty estimates to build more robust classifiers. Extensive experiments on CIFAR10/100-LT, ImageNet-LT, and iNaturalist-2018 benchmarks show that our proposed method improves upon previous methods both in terms of prediction accuracy and uncertainty estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI