How Re-sampling Helps for Long-Tail Learning?

要約

ロングテール学習は、極端に不均衡なデータセットがもたらす課題のため、近年大きな注目を集めています。
これらのデータセットでは、少数のクラス (ヘッド クラスと呼ばれる) のみが適切な数のトレーニング サンプルを持ち、残りのクラス (テール クラスと呼ばれる) はトレーニング データに含まれていません。
リサンプリングは、クラスの不均衡の問題に対処するために古典的で広く使用されているアプローチです。
残念なことに、最近の研究では、現代のロングテール学習タスクにおいて、再サンプリングによってもたらされるパフォーマンスの向上は無視できる程度であると主張されています。
この論文は、この現象を系統的に調査することを目的としています。
私たちの調査では、トレーニング画像に意味的に無関係なコンテキストが含まれていない場合、再サンプリングによって一般化が大幅に改善されることが示されています。
ただし、他のシナリオでは、無関係なコンテキストとターゲット ラベルの間の予期しない偽の相関関係を学習する可能性があります。
調査結果を確認するために、2 つの同種のデータセット (1 つは無関係なコンテキストを含み、もう 1 つは含まない) に対する実験を計画します。
偽の相関の学習を防ぐために、ヘッドクラスの画像から抽出されたコンテキストバンクを維持することにより、テールクラスの多様なトレーニング画像を生成する新しいコンテキストシフト拡張モジュールを提案します。
実験では、私たちが提案したモジュールが一般化を強化し、クラスバランス再サンプリング、分離分類器再トレーニング、データ拡張手法などの他のアプローチよりも優れたパフォーマンスを発揮できることを示しています。
ソース コードは https://www.lamda.nju.edu.cn/code_CSA.ashx で入手できます。

要約(オリジナル)

Long-tail learning has received significant attention in recent years due to the challenge it poses with extremely imbalanced datasets. In these datasets, only a few classes (known as the head classes) have an adequate number of training samples, while the rest of the classes (known as the tail classes) are infrequent in the training data. Re-sampling is a classical and widely used approach for addressing class imbalance issues. Unfortunately, recent studies claim that re-sampling brings negligible performance improvements in modern long-tail learning tasks. This paper aims to investigate this phenomenon systematically. Our research shows that re-sampling can considerably improve generalization when the training images do not contain semantically irrelevant contexts. In other scenarios, however, it can learn unexpected spurious correlations between irrelevant contexts and target labels. We design experiments on two homogeneous datasets, one containing irrelevant context and the other not, to confirm our findings. To prevent the learning of spurious correlations, we propose a new context shift augmentation module that generates diverse training images for the tail class by maintaining a context bank extracted from the head-class images. Experiments demonstrate that our proposed module can boost the generalization and outperform other approaches, including class-balanced re-sampling, decoupled classifier re-training, and data augmentation methods. The source code is available at https://www.lamda.nju.edu.cn/code_CSA.ashx.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google