Going Beyond Feature Similarity: Effective Dataset distillation based on Class-aware Conditional Mutual Information

要約

Dataset Distillation（DD）は、完全な実際のデータセットのパフォーマンスと同様のパフォーマンスを持つ小さな合成データセットを作成することにより、大きなデータセットで深いニューラルネットワークをトレーニングするのに必要な時間とメモリの消費を最小限に抑えることを目的としています。
ただし、現在のデータセット蒸留方法は、多くの場合、ネットワークが学習するのが過度に困難な合成データセットをもたらします。
）。
この作業では、条件付き相互情報（CMI）を導入して、データセットのクラス認識の複雑さを評価し、CMIを最小限に抑えて新しい方法を提案します。
具体的には、事前に訓練されたネットワークの特徴空間からの経験的CMIを同時に最小化することにより、合成データセットのクラス認識の複雑さを制約しながら、蒸留損失を最小限に抑えます。
徹底的な一連の実験を実施すると、この方法が既存のDDメソッドの一般的な正規化方法として機能し、パフォーマンスとトレーニング効率を向上させることができることを示します。

要約(オリジナル)

Dataset distillation (DD) aims to minimize the time and memory consumption needed for training deep neural networks on large datasets, by creating a smaller synthetic dataset that has similar performance to that of the full real dataset. However, current dataset distillation methods often result in synthetic datasets that are excessively difficult for networks to learn from, due to the compression of a substantial amount of information from the original data through metrics measuring feature similarity, e,g., distribution matching (DM). In this work, we introduce conditional mutual information (CMI) to assess the class-aware complexity of a dataset and propose a novel method by minimizing CMI. Specifically, we minimize the distillation loss while constraining the class-aware complexity of the synthetic dataset by minimizing its empirical CMI from the feature space of pre-trained networks, simultaneously. Conducting on a thorough set of experiments, we show that our method can serve as a general regularization method to existing DD methods and improve the performance and training efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google