Dataset Condensation with Contrastive Signals

要約

近年の研究により，勾配マッチングに基づくデータセット合成法，あるいはデータセット凝縮法（DC）は，データ効率の良い学習タスクに適用した場合，最先端の性能を達成できることが示されている．しかし、本研究では、タスクと無関係な情報が学習データセットの大部分を占める場合、既存のDC手法はランダム選択手法よりも性能が低下することを証明する。これは、クラス単位の勾配マッチング戦略の結果、クラス間の対照的な信号が含まれないためであると考えられる。この問題に対処するため、我々は、DC法がクラス間の差異を効果的に捉えることができるように損失関数を修正することにより、Dataset Condensation with Contrastive signals (DCC)を提案する。さらに、カーネル速度を追跡することにより、新しい損失関数を学習ダイナミクスの観点から分析する。さらに、最適化を安定化させるために、2レベルのウォームアップ戦略を導入する。実験の結果、既存の手法は細かい画像分類タスクに有効でないのに対し、提案手法は同じタスクのための情報量の多い合成データセットを生成できることが示された。さらに，SVHN, CIFAR-10, CIFAR-100などのベンチマークデータセットにおいても，提案手法がベースライン手法を上回る性能を持つことを実証する．最後に、提案手法を継続的な学習タスクに適用することで、提案手法の高い応用性を示す。

要約(オリジナル)

Recent studies have demonstrated that gradient matching-based dataset synthesis, or dataset condensation (DC), methods can achieve state-of-the-art performance when applied to data-efficient learning tasks. However, in this study, we prove that the existing DC methods can perform worse than the random selection method when task-irrelevant information forms a significant part of the training dataset. We attribute this to the lack of participation of the contrastive signals between the classes resulting from the class-wise gradient matching strategy. To address this problem, we propose Dataset Condensation with Contrastive signals (DCC) by modifying the loss function to enable the DC methods to effectively capture the differences between classes. In addition, we analyze the new loss function in terms of training dynamics by tracking the kernel velocity. Furthermore, we introduce a bi-level warm-up strategy to stabilize the optimization. Our experimental results indicate that while the existing methods are ineffective for fine-grained image classification tasks, the proposed method can successfully generate informative synthetic datasets for the same tasks. Moreover, we demonstrate that the proposed method outperforms the baselines even on benchmark datasets such as SVHN, CIFAR-10, and CIFAR-100. Finally, we demonstrate the high applicability of the proposed method by applying it to continual learning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL