Dataset Distillation using Parameter Pruning

要約

高度なモデルの獲得には、多くの分野で大規模なデータセットが必要であり、データセットの保存とモデルの学習にはコストがかかる。そこで、データセット蒸留法を用いることで、小規模なデータセットを合成し、その上で学習したモデルが元の大規模データセットと同程度の高い性能を発揮するようにすることができる。最近提案されたネットワークパラメータのマッチングによるデータセット蒸留法は、いくつかのデータセットで有効であることが証明されている。しかし，蒸留の過程でいくつかのパラメータはマッチングが困難であり，蒸留の性能に悪影響を与える．本論文では，この問題を解決するために，パラメータ刈り込みを用いた新たな手法を提案する．提案手法は，蒸留プロセスにおいてマッチングが困難なパラメータを刈り込むことで，より頑健な蒸留データセットを合成し，蒸留性能を向上させることができる．3つのデータセットに対する実験結果から，提案手法は他のSOTAデータセット蒸留手法よりも優れていることが示された．

要約(オリジナル)

The acquisition of advanced models relies on large datasets in many fields, which makes storing datasets and training models expensive. As a solution, dataset distillation can synthesize a small dataset such that models trained on it achieve high performance on par with the original large dataset. The recently proposed dataset distillation method by matching network parameters has been proved effective for several datasets. However, a few parameters in the distillation process are difficult to match, which harms the distillation performance. Based on this observation, this paper proposes a new method to solve the problem using parameter pruning. The proposed method can synthesize more robust distilled datasets and improve the distillation performance by pruning difficult-to-match parameters in the distillation process. Experimental results on three datasets show that the proposed method outperformed other SOTA dataset distillation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL