Curriculum Dataset Distillation

要約

ほとんどのデータセット抽出手法は、膨大な計算量とメモリ要件があるため、大規模なデータセットに対応するのが困難です。
このペーパーでは、スケーラビリティと効率を調和させるように設計されたカリキュラムベースのデータセット抽出フレームワークを紹介します。
このフレームワークは、単純なものから複雑なものへと移行するカリキュラムに準拠して、合成画像を戦略的に抽出します。
カリキュラム評価を組み込むことで、均一で単純になりがちな画像を生成する従来の方法の問題に対処し、管理可能な計算コストで画像を生成します。
さらに、合成画像に対する敵対的最適化を導入して、合成画像の代表性をさらに向上させ、抽出に関与するニューラル ネットワークへの過剰適合を防止します。
これにより、さまざまなニューラル ネットワーク アーキテクチャにわたる蒸留画像の一般化機能が強化され、ノイズに対する堅牢性も向上します。
広範な実験により、私たちのフレームワークが大規模なデータセットの蒸留において新しいベンチマークを設定し、Tiny-ImageNet で 11.1\%、ImageNet-1K で 9.0\%、ImageNet-21K で 7.3\% の大幅な改善を達成したことが実証されました。
ソースコードはコミュニティに公開されます。

要約(オリジナル)

Most dataset distillation methods struggle to accommodate large-scale datasets due to their substantial computational and memory requirements. In this paper, we present a curriculum-based dataset distillation framework designed to harmonize scalability with efficiency. This framework strategically distills synthetic images, adhering to a curriculum that transitions from simple to complex. By incorporating curriculum evaluation, we address the issue of previous methods generating images that tend to be homogeneous and simplistic, doing so at a manageable computational cost. Furthermore, we introduce adversarial optimization towards synthetic images to further improve their representativeness and safeguard against their overfitting to the neural network involved in distilling. This enhances the generalization capability of the distilled images across various neural network architectures and also increases their robustness to noise. Extensive experiments demonstrate that our framework sets new benchmarks in large-scale dataset distillation, achieving substantial improvements of 11.1\% on Tiny-ImageNet, 9.0\% on ImageNet-1K, and 7.3\% on ImageNet-21K. The source code will be released to the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google