LabelBench: A Comprehensive Framework for Benchmarking Label-Efficient Learning

要約

ラベル付きデータは最新の機械学習アプリケーションにとって重要ですが、ラベルの取得にはコストがかかる場合があります。
このコストを軽減するために、転移学習、半教師あり学習、能動学習などの機械学習手法はラベル効率を高め、比較的少数のラベル付き例から高い予測パフォーマンスを達成することを目指しています。
実際に最高のラベル効率を得るには、多くの場合、これらの手法の組み合わせが必要ですが、既存のベンチマークおよび評価フレームワークでは、そのような手法すべてを協調的に組み合わせたものは得られません。
このペーパーでは、複数のラベル効率の良い学習手法を共同評価するための新しい計算効率の高いフレームワークである LabelBench を導入することで、この欠陥に対処します。
LabelBench のアプリケーションとして、事前トレーニングされたビジョン トランスフォーマーを微調整するための半教師あり学習と組み合わせた、最先端のアクティブ ラーニング手法の新しいベンチマークを導入します。
私たちのベンチマークは、アクティブ ラーニングで以前に報告されたものよりも優れたラベル効率を示しています。
LabelBench のモジュール式コードベースは、ラベル効率の良い学習方法とベンチマークに貢献するために、より広範なコミュニティ向けにオープンソース化されています。
リポジトリは https://github.com/EfficientTraining/LabelBench にあります。

要約(オリジナル)

Labeled data are critical to modern machine learning applications, but obtaining labels can be expensive. To mitigate this cost, machine learning methods, such as transfer learning, semi-supervised learning and active learning, aim to be label-efficient: achieving high predictive performance from relatively few labeled examples. While obtaining the best label-efficiency in practice often requires combinations of these techniques, existing benchmark and evaluation frameworks do not capture a concerted combination of all such techniques. This paper addresses this deficiency by introducing LabelBench, a new computationally-efficient framework for joint evaluation of multiple label-efficient learning techniques. As an application of LabelBench, we introduce a novel benchmark of state-of-the-art active learning methods in combination with semi-supervised learning for fine-tuning pretrained vision transformers. Our benchmark demonstrates better label-efficiencies than previously reported in active learning. LabelBench’s modular codebase is open-sourced for the broader community to contribute label-efficient learning methods and benchmarks. The repository can be found at: https://github.com/EfficientTraining/LabelBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google