Dataset Condensation with Contrastive Signals

要約

最近の研究では、勾配マッチングベースのデータセット合成、またはデータセット凝縮（DC）の方法を、データ効率の高い学習タスクに適用すると、最先端のパフォーマンスを実現できることが示されています。
ただし、この研究では、タスクに関係のない情報がトレーニングデータセットの重要な部分を形成する場合、既存のDCメソッドがランダム選択メソッドよりもパフォーマンスが低下する可能性があることを証明します。
これは、クラスごとの勾配マッチング戦略の結果として生じるクラス間の対照的な信号の関与の欠如に起因します。
この問題に対処するために、損失関数を変更してDCメソッドがクラス間の違いを効果的にキャプチャできるようにすることにより、対照信号を使用したデータセット凝縮（DCC）を提案します。
さらに、カーネル速度を追跡することにより、トレーニングダイナミクスの観点から新しい損失関数を分析します。
さらに、最適化を安定させるために、2レベルのウォームアップ戦略を導入します。
我々の実験結果は、既存の方法はきめの細かい画像分類タスクには効果がないが、提案された方法は同じタスクのための有益な合成データセットを首尾よく生成できることを示している。
さらに、提案された方法は、SVHN、CIFAR-10、CIFAR-100などのベンチマークデータセットでもベースラインを上回っていることを示しています。
最後に、継続的な学習タスクに適用することにより、提案された方法の高い適用性を示します。

要約(オリジナル)

Recent studies have demonstrated that gradient matching-based dataset synthesis, or dataset condensation (DC), methods can achieve state-of-the-art performance when applied to data-efficient learning tasks. However, in this study, we prove that the existing DC methods can perform worse than the random selection method when task-irrelevant information forms a significant part of the training dataset. We attribute this to the lack of participation of the contrastive signals between the classes resulting from the class-wise gradient matching strategy. To address this problem, we propose Dataset Condensation with Contrastive signals (DCC) by modifying the loss function to enable the DC methods to effectively capture the differences between classes. In addition, we analyze the new loss function in terms of training dynamics by tracking the kernel velocity. Furthermore, we introduce a bi-level warm-up strategy to stabilize the optimization. Our experimental results indicate that while the existing methods are ineffective for fine-grained image classification tasks, the proposed method can successfully generate informative synthetic datasets for the same tasks. Moreover, we demonstrate that the proposed method outperforms the baselines even on benchmark datasets such as SVHN, CIFAR-10, and CIFAR-100. Finally, we demonstrate the high applicability of the proposed method by applying it to continual learning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google