Exploring Weight Balancing on Long-Tailed Recognition Problem

要約

サンプル サイズが意図的に調整されない限り、データセット内のクラスごとのサンプル サイズの分布は一般に指数関数的であるため、クラスあたりのサンプル サイズが大きく偏っているロングテール データの認識問題が最近重要になってきています。
これらの問題に対処するために、さまざまなアプローチが考案されてきました。
最近、よく知られた古典的な正則化手法と 2 段階のトレーニングを組み合わせた重み均衡化が提案されています。
シンプルでありながら、様々な工夫を凝らした既存の手法に対して高いパフォーマンスを発揮することで知られています。
ただし、なぜこのアプローチがロングテールデータに有効なのかについては理解が不足しています。
本研究では、各学習段階におけるニューラルコラプスとコーン効果に焦点を当てて手法を解析し、重み減衰とクロスエントロピー損失による特徴抽出器のフィッシャー判別比の増加と暗黙的ロジット調整に分解できることを発見した。
重量の減少とクラスバランスのとれた損失によるものです。
私たちの分析では、精度を高めながらトレーニング ステージの数を 1 つに減らすことで、トレーニング方法をさらに簡素化できることがわかりました。

要約(オリジナル)

Recognition problems in long-tailed data, where the sample size per class is heavily skewed, have recently gained importance because the distribution of the sample size per class in a dataset is generally exponential unless the sample size is intentionally adjusted. Various approaches have been devised to address these problems. Recently, weight balancing, which combines well-known classical regularization techniques with two-stage training, has been proposed. Despite its simplicity, it is known for its high performance against existing methods devised in various ways. However, there is a lack of understanding as to why this approach is effective for long-tailed data. In this study, we analyze the method focusing on neural collapse and cone effect at each training stage and find that it can be decomposed into the increase in Fisher’s discriminant ratio of the feature extractor caused by weight decay and cross entropy loss and implicit logit adjustment caused by weight decay and class-balanced loss. Our analysis shows that the training method can be further simplified by reducing the number of training stages to one while increasing accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google