DELT: A Simple Diversity-driven EarlyLate Training for Dataset Distillation

要約

データセットの蒸留における最近の進歩により、2 つの主な方向での解決策が導き出されました。
従来のバッチ間マッチング メカニズムは小規模のデータセットに最適で、FRePo、RCIG、RaT-BPTT などのモデルと合成に対する 2 レベルの最適化手法や、分布マッチング、勾配マッチングなどの他の手法が含まれています。
、および重量軌道のマッチング。
逆に、バッチからグローバルへのマッチングは分離された手法の典型であり、大規模なデータセットに特に有利です。
このアプローチは、SRe$^2$L、G-VBSM、WMDD、CDA に見られるように、コミュニティ内で大きな関心を集めています。
2 番目のアプローチの主な課題は、サンプルが個別に最適化され、同じグローバル監視信号が異なる合成画像間で再利用されるため、各クラス内の合成間に多様性が欠如していることです。
この研究では、少ない計算量でバッチからグローバルへのマッチングにおいて画像の多様性を強化する、新しい多様性主導型 EarlyLate Training (DELT) スキームを提案します。
私たちのアプローチは概念的にシンプルでありながら効果的であり、事前定義された IPC サンプルをより小さなサブタスクに分割し、ローカル最適化を使用して各サブセットを個別のフェーズからの分布に抽出し、統合最適化プロセスによって引き起こされる均一性を低減します。
サブタスクから抽出されたこれらのイメージは、タスク全体に適用すると効果的な一般化を示します。
私たちは、CIFAR、Tiny-ImageNet、ImageNet-1K、およびそのサブデータセットに関して広範な実験を行っています。
私たちのアプローチは、さまざまなデータセットと IPC (クラスごとの画像) 全体で、以前の最先端のパフォーマンスを平均 2$\sim$5% 上回っており、合成時間を最大 39.3% 削減しながら、クラスあたりの多様性を 5% 以上増加させています。
トレーニング効率を高めるために。
コードは https://github.com/VILA-Lab/DELT から入手できます。

要約(オリジナル)

Recent advances in dataset distillation have led to solutions in two main directions. The conventional batch-to-batch matching mechanism is ideal for small-scale datasets and includes bi-level optimization methods on models and syntheses, such as FRePo, RCIG, and RaT-BPTT, as well as other methods like distribution matching, gradient matching, and weight trajectory matching. Conversely, batch-to-global matching typifies decoupled methods, which are particularly advantageous for large-scale datasets. This approach has garnered substantial interest within the community, as seen in SRe$^2$L, G-VBSM, WMDD, and CDA. A primary challenge with the second approach is the lack of diversity among syntheses within each class since samples are optimized independently and the same global supervision signals are reused across different synthetic images. In this study, we propose a new Diversity-driven EarlyLate Training (DELT) scheme to enhance the diversity of images in batch-to-global matching with less computation. Our approach is conceptually simple yet effective, it partitions predefined IPC samples into smaller subtasks and employs local optimizations to distill each subset into distributions from distinct phases, reducing the uniformity induced by the unified optimization process. These distilled images from the subtasks demonstrate effective generalization when applied to the entire task. We conduct extensive experiments on CIFAR, Tiny-ImageNet, ImageNet-1K, and its sub-datasets. Our approach outperforms the previous state-of-the-art by 2$\sim$5% on average across different datasets and IPCs (images per class), increasing diversity per class by more than 5% while reducing synthesis time by up to 39.3% for enhancing the training efficiency. Code is available at: https://github.com/VILA-Lab/DELT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google