BMB: Balanced Memory Bank for Imbalanced Semi-supervised Learning

要約

ラベルのない大量のデータを探索する半教師あり学習 (SSL) は、限られた数のラベルのみが提供されている場合に認識パフォーマンスを向上させます。
ただし、従来の方法では、データ分散がクラスバランスであることを前提としていますが、現実世界のデータのロングテールの性質により、これを現実に達成するのは困難です。
データの不均衡の問題は教師あり学習 (SL) パラダイムで広く研究されていますが、SSL ではデータ分散に関する事前知識が不明なままであるため、既存のアプローチを SSL に直接移行することは簡単ではありません。
これを考慮して、ロングテール認識のための半教師ありフレームワークであるバランスメモリバンク（BMB）を提案します。
BMB の中核は、対応する擬似ラベルを使用して履歴フィーチャをキャッシュするオンライン更新メモリ バンクであり、メモリは、メモリ内のデータがクラス リバランスされるように慎重に維持されます。
さらに、バイアスのあるトレーニング プロセスをさらに再調整するために、メモリ バンクと連携して動作する適応重み付けモジュールが導入されています。
私たちは複数のデータセットで実験を実施し、とりわけ、BMB が最先端のアプローチを明らかに上回ることを実証しました。たとえば、ImageNet127 の 1$\%$ ラベル付きサブセット (解像度あり) では 8.2$\%$ です。
64$\times$64) と、ImageNet-LT の 50$\%$ ラベル付きサブセット上の 4.3$\%$。

要約(オリジナル)

Exploring a substantial amount of unlabeled data, semi-supervised learning (SSL) boosts the recognition performance when only a limited number of labels are provided. However, traditional methods assume that the data distribution is class-balanced, which is difficult to achieve in reality due to the long-tailed nature of real-world data. While the data imbalance problem has been extensively studied in supervised learning (SL) paradigms, directly transferring existing approaches to SSL is nontrivial, as prior knowledge about data distribution remains unknown in SSL. In light of this, we propose Balanced Memory Bank (BMB), a semi-supervised framework for long-tailed recognition. The core of BMB is an online-updated memory bank that caches historical features with their corresponding pseudo labels, and the memory is also carefully maintained to ensure the data therein are class-rebalanced. Additionally, an adaptive weighting module is introduced to work jointly with the memory bank so as to further re-calibrate the biased training process. We conduct experiments on multiple datasets and demonstrate, among other things, that BMB surpasses state-of-the-art approaches by clear margins, for example 8.2$\%$ on the 1$\%$ labeled subset of ImageNet127 (with a resolution of 64$\times$64) and 4.3$\%$ on the 50$\%$ labeled subset of ImageNet-LT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google