Towards Effective Collaborative Learning in Long-Tailed Recognition

要約

タイトル：長い尾の認識における効果的な協調学習に向けて

要約：

– 実世界のデータは、最小限のクラスが多数派に比べて顕著に小さくなるという、深刻なクラスの不均衡と長い尾の分布に陥りがちです。
– 最近の研究では、マルチエキスパートアーキテクチャを利用して、マイノリティの不確実性を緩和することを好む傾向にあります。つまり、協調学習を用いて専門家の知識を集約するためのオンライン蒸留です。
– 本研究では、専門家間の知識伝達が分布の不均衡をもつため、少数派クラスの性能向上が限定されることを観察しました。
– これを解決するために、オンライン蒸留とラベル注釈によって監視される2つの分類器の予測を比較することにより、再重み付けされた蒸留損失を提案しました。また、機能レベルの蒸留がモデル性能を大幅に向上させ、機能の強化にもつながることを強調します。
– 最後に、コントラストプロキシタスクブランチを統合したEffective Collaborative Learning（ECL）フレームワークを提案し、詳細な折衷研究がECLの各部品の効果を明らかにしたことを示した4つの標準データセットでの定量的および定性的実験で最高の性能を発揮します。

要約(オリジナル)

Real-world data usually suffers from severe class imbalance and long-tailed distributions, where minority classes are significantly underrepresented compared to the majority ones. Recent research prefers to utilize multi-expert architectures to mitigate the model uncertainty on the minority, where collaborative learning is employed to aggregate the knowledge of experts, i.e., online distillation. In this paper, we observe that the knowledge transfer between experts is imbalanced in terms of class distribution, which results in limited performance improvement of the minority classes. To address it, we propose a re-weighted distillation loss by comparing two classifiers’ predictions, which are supervised by online distillation and label annotations, respectively. We also emphasize that feature-level distillation will significantly improve model performance and increase feature robustness. Finally, we propose an Effective Collaborative Learning (ECL) framework that integrates a contrastive proxy task branch to further improve feature quality. Quantitative and qualitative experiments on four standard datasets demonstrate that ECL achieves state-of-the-art performance and the detailed ablation studies manifest the effectiveness of each component in ECL.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI