Combating Representation Learning Disparity with Geometric Harmonization

要約

表現学習の効果的なパラダイムとしての自己教師あり学習 (SSL) は、さまざまなシナリオのさまざまな厳選されたデータセットで多大な成功を収めています。
それにもかかわらず、現実世界のアプリケーションでロングテール分布に直面した場合、既存の手法では転送可能で堅牢な表現を捕捉することは依然として困難です。
サンプルレベルの均一性を追求する従来の SSL 手法では、先頭クラスが特徴領域を支配する一方、末尾クラスが受動的に崩壊する表現学習格差が容易に生じます。
この問題に対処するために、我々は、表現学習におけるカテゴリレベルの均一性を促進する新しい幾何学的調和（GH）手法を提案します。この手法は、少数派にとってより優しく、ロングテール分布の下では多数派をほとんど傷つけません。
特に、GH は自己教師あり学習に基づいて埋め込み空間の母集団統計を測定し、その後、ヘッドクラスの空間拡張を制限し、テールクラスの受動的崩壊を回避するために、きめの細かいインスタンスごとのキャリブレーションを推論します。
私たちの提案はSSLの設定を変更することなく、既存の手法に低コストで簡単に組み込むことができます。
さまざまなベンチマーク データセットに関する広範な結果は、分布の歪みに対する高い許容度を備えた GH の有効性を示しています。
私たちのコードは https://github.com/MediaBrain-SJTU/Geometric-Harmonization で入手できます。

要約(オリジナル)

Self-supervised learning (SSL) as an effective paradigm of representation learning has achieved tremendous success on various curated datasets in diverse scenarios. Nevertheless, when facing the long-tailed distribution in real-world applications, it is still hard for existing methods to capture transferable and robust representation. Conventional SSL methods, pursuing sample-level uniformity, easily leads to representation learning disparity where head classes dominate the feature regime but tail classes passively collapse. To address this problem, we propose a novel Geometric Harmonization (GH) method to encourage category-level uniformity in representation learning, which is more benign to the minority and almost does not hurt the majority under long-tailed distribution. Specially, GH measures the population statistics of the embedding space on top of self-supervised learning, and then infer an fine-grained instance-wise calibration to constrain the space expansion of head classes and avoid the passive collapse of tail classes. Our proposal does not alter the setting of SSL and can be easily integrated into existing methods in a low-cost manner. Extensive results on a range of benchmark datasets show the effectiveness of GH with high tolerance to the distribution skewness. Our code is available at https://github.com/MediaBrain-SJTU/Geometric-Harmonization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google