SELECT: A Large-Scale Benchmark of Data Curation Strategies for Image Classification

要約

データキュレーションは、効率的な学習をサポートするデータセットにサンプルを収集および整理する方法の問題です。
この仕事の重要性にもかかわらず、さまざまなキュレーション手法の大規模かつ体系的な比較にはほとんど取り組みが行われていません。
この研究では、データ キュレーション戦略の正式な評価に向けて一歩を踏み出し、画像分類のためのキュレーション戦略の初の大規模ベンチマークである SELECT を紹介します。
SELECT ベンチマークのベースライン メソッドを生成するために、これまでの ImageNet-1K の最大のスーパーセットを構成する新しいデータセット ImageNet++ を作成します。
私たちのデータセットは、5 つの新しいトレーニング データ シフトで ImageNet を拡張します。各シフトは ImageNet-1K 自体のサイズとほぼ同じで、それぞれが個別のキュレーション戦略を使用して組み立てられています。
データ キュレーション ベースラインを 2 つの方法で評価します。(i) 各トレーニング データ シフトを使用して、同一の画像分類モデルを最初からトレーニングします。(ii) データ自体を使用して、事前トレーニングされた自己教師あり表現に適合します。
私たちの調査結果は、特に合成データの生成や CLIP 埋め込みに基づくルックアップなど、データキュレーションの最近の方法に関連した興味深い傾向を示しています。
これらの戦略は特定のタスクでは非常に競争力がありますが、元の ImageNet-1K データセットを組み立てるために使用されたキュレーション戦略が依然としてゴールド スタンダードであることを示します。
私たちは、私たちのベンチマークがギャップをさらに減らすための新しい方法への道を明らかにすることができると期待しています。
チェックポイント、コード、ドキュメント、およびデータセットへのリンクを https://github.com/jimmyxu123/SELECT でリリースします。

要約(オリジナル)

Data curation is the problem of how to collect and organize samples into a dataset that supports efficient learning. Despite the centrality of the task, little work has been devoted towards a large-scale, systematic comparison of various curation methods. In this work, we take steps towards a formal evaluation of data curation strategies and introduce SELECT, the first large-scale benchmark of curation strategies for image classification. In order to generate baseline methods for the SELECT benchmark, we create a new dataset, ImageNet++, which constitutes the largest superset of ImageNet-1K to date. Our dataset extends ImageNet with 5 new training-data shifts, each approximately the size of ImageNet-1K itself, and each assembled using a distinct curation strategy. We evaluate our data curation baselines in two ways: (i) using each training-data shift to train identical image classification models from scratch (ii) using the data itself to fit a pretrained self-supervised representation. Our findings show interesting trends, particularly pertaining to recent methods for data curation such as synthetic data generation and lookup based on CLIP embeddings. We show that although these strategies are highly competitive for certain tasks, the curation strategy used to assemble the original ImageNet-1K dataset remains the gold standard. We anticipate that our benchmark can illuminate the path for new methods to further reduce the gap. We release our checkpoints, code, documentation, and a link to our dataset at https://github.com/jimmyxu123/SELECT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google