Foundation Model Insights and a Multi-Model Approach for Superior Fine-Grained One-shot Subset Selection

要約

ワンショットサブセット選択は、情報抽出器（つまり）によって抽出された情報に基づいて、有益なデータサブセットを識別することにより、深い学習トレーニングコストを削減するための効果的なツールとして機能します。
通常、ターゲットデータセットで事前に訓練された従来のIEは、本質的にデータセットに依存します。
Foundation Models（FMS）は、この制限を緩和する可能性のある有望な代替手段を提供します。
この作業では、2つの重要な質問を調査しています。（1）FMベースのサブセット選択は、多様なデータセット全体で従来のIEベースのメソッドを上回ることができますか？
（2）すべてのFMSは、サブセット選択のためにIESと同様に同様に機能しますか？
広範な実験では、驚くべき洞察が明らかになりました。FMSは、きめ細かいデータセットで従来のIEを一貫して上回るのに対し、騒々しいラベルを備えた粗粒のデータセットでの利点は減少します。
これらの発見に動機付けられて、ラムAPL（擬似クラスラベルのランキングの平均的精査）を提案します。これは、細粒画像データセットに合わせた方法です。
RAM-APLは、複数のFMを活用して、補完的な強さを活用することによりサブセット選択を強化します。
私たちのアプローチは、Oxford-IIIT PET、Food-101、Caltech-UCSD Birds-200-2011など、きめ細かいデータセットで最先端のパフォーマンスを達成しています。

要約(オリジナル)

One-shot subset selection serves as an effective tool to reduce deep learning training costs by identifying an informative data subset based on the information extracted by an information extractor (IE). Traditional IEs, typically pre-trained on the target dataset, are inherently dataset-dependent. Foundation models (FMs) offer a promising alternative, potentially mitigating this limitation. This work investigates two key questions: (1) Can FM-based subset selection outperform traditional IE-based methods across diverse datasets? (2) Do all FMs perform equally well as IEs for subset selection? Extensive experiments uncovered surprising insights: FMs consistently outperform traditional IEs on fine-grained datasets, whereas their advantage diminishes on coarse-grained datasets with noisy labels. Motivated by these finding, we propose RAM-APL (RAnking Mean-Accuracy of Pseudo-class Labels), a method tailored for fine-grained image datasets. RAM-APL leverages multiple FMs to enhance subset selection by exploiting their complementary strengths. Our approach achieves state-of-the-art performance on fine-grained datasets, including Oxford-IIIT Pet, Food-101, and Caltech-UCSD Birds-200-2011.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google