ELFS: Label-Free Coreset Selection with Proxy Training Dynamics

要約

高品質のヒトが注目したデータは、最新の深い学習パイプラインにとって重要ですが、人間の注釈プロセスは費用がかかり、時間がかかります。
制約された人間のラベル付け予算を考えると、ラベル付けのために有益で代表的なデータサブセットを選択すると、人間の注釈の取り組みが大幅に削減される可能性があります。
パフォーマンスの良い最先端の（SOTA）コアセット選択方法には、データセット全体にわたってグラウンドトゥルースラベルが必要であり、人間のラベル付けの負担を軽減できません。
一方、SOTAラベルフリーのコアセット選択方法は、幾何学ベースの難易度スコアが低いため、パフォーマンスが劣っています。
この論文では、新しいラベルフリーコアセット選択方法であるELF（効果的なラベルフリーコアセット選択）を紹介します。
ELFは、2つの課題に対処することにより、ラベルフリーのコアセット選択を大幅に改善します。1）ELFは、深いクラスタリングを利用して、グラウンドトゥルースラベルなしのトレーニングダイナミクスベースのデータ難易度スコアを推定します。
2）擬似ラベルは、データ難易度スコアに分布シフトを導入し、計算されたスコアのバイアスを緩和するためのシンプルだが効果的な剪定方法を提案します。
4つのビジョンベンチマークでELFを評価し、同じVisionエンコーダーを考えると、ELFがSOTAラベルフリーのベースラインよりも一貫して優れていることを示しています。
たとえば、SWAVをエンコーダーとして使用する場合、ELFはImagENET-1Kの精度が最大10.2％D2を上回ります。
コードをGithubで公開しています。

要約(オリジナル)

High-quality human-annotated data is crucial for modern deep learning pipelines, yet the human annotation process is both costly and time-consuming. Given a constrained human labeling budget, selecting an informative and representative data subset for labeling can significantly reduce human annotation effort. Well-performing state-of-the-art (SOTA) coreset selection methods require ground truth labels over the whole dataset, failing to reduce the human labeling burden. Meanwhile, SOTA label-free coreset selection methods deliver inferior performance due to poor geometry-based difficulty scores. In this paper, we introduce ELFS (Effective Label-Free Coreset Selection), a novel label-free coreset selection method. ELFS significantly improves label-free coreset selection by addressing two challenges: 1) ELFS utilizes deep clustering to estimate training dynamics-based data difficulty scores without ground truth labels; 2) Pseudo-labels introduce a distribution shift in the data difficulty scores, and we propose a simple but effective double-end pruning method to mitigate bias on calculated scores. We evaluate ELFS on four vision benchmarks and show that, given the same vision encoder, ELFS consistently outperforms SOTA label-free baselines. For instance, when using SwAV as the encoder, ELFS outperforms D2 by up to 10.2% in accuracy on ImageNet-1K. We make our code publicly available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google