Curriculum Coarse-to-Fine Selection for High-IPC Dataset Distillation

要約

データセット蒸留（DD）は、クラスあたりの少数の画像（IPC）の合成に優れていますが、高IPC設定での有効性を維持するのに苦労しています。
データセットの蒸留に関する最近の研究は、蒸留と実際のデータを組み合わせることで有効性の減衰を軽減できることを示しています。
ただし、組み合わせパラダイムの分析により、現在のワンショットおよび独立した選択メカニズムが、蒸留型画像と実際の画像の間に非互換性の問題を誘発することが明らかになりました。
この問題に対処するために、効率的な高IPCデータセット蒸留のために、新しいカリキュラムの粗からファインセレクション（CCFS）メソッドを紹介します。
CCFSは、実際のデータ選択のためにカリキュラム選択フレームワークを採用しています。ここでは、粗からファインまでの戦略を活用して、各カリキュラムの現在の合成データセットに基づいて適切な実際のデータを選択します。
大規模な実験では、CCFSを検証し、最先端をCIFAR-10で+6.6 \％、CIFAR-100で+5.8 \％、+3.4 \％を高IPC設定下で+3.4 \％でした。
特に、CCFSは、Tiny-Imagenetの20 \％圧縮比でResNet-18で60.2 \％のテスト精度を達成し、わずか0.3 \％の分解でフルデータセットトレーニングを密接に一致させます。
コード：https：//github.com/cydaaa30/ccfs。

要約(オリジナル)

Dataset distillation (DD) excels in synthesizing a small number of images per class (IPC) but struggles to maintain its effectiveness in high-IPC settings. Recent works on dataset distillation demonstrate that combining distilled and real data can mitigate the effectiveness decay. However, our analysis of the combination paradigm reveals that the current one-shot and independent selection mechanism induces an incompatibility issue between distilled and real images. To address this issue, we introduce a novel curriculum coarse-to-fine selection (CCFS) method for efficient high-IPC dataset distillation. CCFS employs a curriculum selection framework for real data selection, where we leverage a coarse-to-fine strategy to select appropriate real data based on the current synthetic dataset in each curriculum. Extensive experiments validate CCFS, surpassing the state-of-the-art by +6.6\% on CIFAR-10, +5.8\% on CIFAR-100, and +3.4\% on Tiny-ImageNet under high-IPC settings. Notably, CCFS achieves 60.2\% test accuracy on ResNet-18 with a 20\% compression ratio of Tiny-ImageNet, closely matching full-dataset training with only 0.3\% degradation. Code: https://github.com/CYDaaa30/CCFS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google