Dataset Distillation using Parameter Pruning

要約

高度なモデルの取得は、多くの分野で大規模なデータセットに依存しているため、データセットの保存とモデ​​ルのトレーニングに費用がかかります。
解決策として、データセット蒸留は、元の大きなデータセットのほとんどの情報を保持する小さなデータセットを合成できます。
最近提案された、ネットワーク パラメーターを一致させることによるデータセット蒸留法は、いくつかのデータセットで効果的であることが証明されています。
ただし、通常、ネットワーク パラメータの次元は大きくなります。
また、蒸留プロセスのいくつかのパラメーターは一致させるのが難しく、蒸留のパフォーマンスに悪影響を与えることがわかりました。
この観察に基づいて、この論文では、パラメータの刈り込みを使用して問題を解決する新しい方法を提案します。
提案された方法は、より堅牢な蒸留データセットを合成し、蒸留プロセスで一致させるのが難しいパラメーターを剪定することにより、蒸留パフォーマンスを向上させることができます。
3 つのデータセットの実験結果は、提案された方法が他の最先端のデータセット蒸留方法よりも優れていることを示しています。

要約(オリジナル)

The acquisition of advanced models relies on large datasets in many fields, which makes storing datasets and training models expensive. As a solution, dataset distillation can synthesize a small dataset that preserves most information of the original large dataset. The recently proposed dataset distillation method by matching network parameters has been proven effective for several datasets. However, the dimension of network parameters is usually large. And we found that a few parameters in the distillation process are difficult to match, which harms the distillation performance. Based on this observation, this paper proposes a new method to solve the problem using parameter pruning. The proposed method can synthesize more robust distilled datasets and improve the distillation performance by pruning difficult-to-match parameters in the distillation process. Experimental results on three datasets show that the proposed method outperformed other state-of-the-art dataset distillation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google