Solving the long-tailed distribution problem by exploiting the synergies and balance of different techniques

要約

現実世界のデータでは、ロングテールのデータ分布が一般的であるため、経験に基づくリスクの最小化に基づいてトレーニングされたモデルがテール クラスを効果的に学習して分類することが困難になります。
多くの研究では、特徴空間内のデータ分布を変更し、モデル決定境界を調整することでロングテール認識を改善しようとしていますが、さまざまな方法間の相乗効果や修正アプローチに関する研究は限られています。
私たちの研究では、教師あり対照学習 (SCL)、レアクラス サンプル ジェネレーター (RSG)、およびラベル配布を考慮したマージン損失 (LDAM) という 3 つのロングテール認識技術を詳しく調査しています。
SCL は、機能の類似性に基づいてクラス内クラスターを強化し、クラス間の明確な分離性を促進しますが、支配的なクラスのみを優先する傾向があります。
RSG がモデルに統合されると、クラス内特徴がクラス中心に向かってさらにクラスター化することが観察され、これはクラス内クラスター化を強化する SCL の原理と相乗効果を示しています。
RSG は新しいテール特徴を生成し、SCL によって圧迫されたテール特徴空間を補償します。
同様に、LDAM は、特に末尾クラスに対してより大きなマージンを導入することが知られています。
LDAM が、SCL と RSG によって達成されるより明示的な決定境界と組み合わせると、末尾クラスでのモデルのパフォーマンスがさらに強化されることを実証します。
さらに、SCL は、RSG および LDAM によって犠牲になった主要なクラス精度を補うことができます。
私たちの研究では、3 つの手法間の相乗効果とバランスを重視しており、それぞれが他の手法の長所を増幅し、短所を軽減しています。
エンドツーエンドのアーキテクチャを使用したロングテール分布データセットの実験では、支配的なクラスのパフォーマンスを損なうことなくテールクラスの精度を向上させ、すべてのクラスにわたってバランスの取れた改善を達成することで、競争力のある結果をもたらしました。

要約(オリジナル)

In real-world data, long-tailed data distribution is common, making it challenging for models trained on empirical risk minimisation to learn and classify tail classes effectively. While many studies have sought to improve long tail recognition by altering the data distribution in the feature space and adjusting model decision boundaries, research on the synergy and corrective approach among various methods is limited. Our study delves into three long-tail recognition techniques: Supervised Contrastive Learning (SCL), Rare-Class Sample Generator (RSG), and Label-Distribution-Aware Margin Loss (LDAM). SCL enhances intra-class clusters based on feature similarity and promotes clear inter-class separability but tends to favour dominant classes only. When RSG is integrated into the model, we observed that the intra-class features further cluster towards the class centre, which demonstrates a synergistic effect together with SCL’s principle of enhancing intra-class clustering. RSG generates new tail features and compensates for the tail feature space squeezed by SCL. Similarly, LDAM is known to introduce a larger margin specifically for tail classes; we demonstrate that LDAM further bolsters the model’s performance on tail classes when combined with the more explicit decision boundaries achieved by SCL and RSG. Furthermore, SCL can compensate for the dominant class accuracy sacrificed by RSG and LDAM. Our research emphasises the synergy and balance among the three techniques, with each amplifying the strengths of the others and mitigating their shortcomings. Our experiment on long-tailed distribution datasets, using an end-to-end architecture, yields competitive results by enhancing tail class accuracy without compromising dominant class performance, achieving a balanced improvement across all classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google