DeepCore: A Comprehensive Library for Coreset Selection in Deep Learning

要約

最も有益なトレーニングサンプルのサブセットを選択することを目的としたコアセットの選択は、データ効率の高い学習、継続的な学習、ニューラルアーキテクチャの検索、アクティブラーニングなど、多くのダウンストリームタスクに役立つ可能性のある長年の学習問題です。
既存のコアセット選択方法の多くは、高度な学習用に設計されていないため、複雑さが高く、一般化のパフォーマンスが低い可能性があります。
さらに、最近提案された方法は、モデル、データセット、およびさまざまな複雑さの設定で評価されます。
ディープラーニングにおけるコアセット選択の研究を進めるために、包括的なコードライブラリ、つまりDeepCoreを提供し、CIFAR10およびImageNetデータセットでの一般的なコアセット選択方法に関する実証的研究を提供します。
CIFAR10およびImageNetデータセットでの広範な実験により、特定の実験設定ではさまざまな方法に利点がありますが、ランダム選択が依然として強力なベースラインであることが確認されています。

要約(オリジナル)

Coreset selection, which aims to select a subset of the most informative training samples, is a long-standing learning problem that can benefit many downstream tasks such as data-efficient learning, continual learning, neural architecture search, active learning, etc. However, many existing coreset selection methods are not designed for deep learning, which may have high complexity and poor generalization performance. In addition, the recently proposed methods are evaluated on models, datasets, and settings of different complexities. To advance the research of coreset selection in deep learning, we contribute a comprehensive code library, namely DeepCore, and provide an empirical study on popular coreset selection methods on CIFAR10 and ImageNet datasets. Extensive experiments on CIFAR10 and ImageNet datasets verify that, although various methods have advantages in certain experiment settings, random selection is still a strong baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google