GIFT: Unlocking Full Potential of Labels in Distilled Dataset at Near-zero Cost

要約

データセット蒸留における最近の進歩により、事前トレーニングされた教師モデルによって生成されたソフト ラベルを採用することの大きな利点が実証されました。
本稿では、ラベルを最大限に活用することに重点を置き、新しい視点を紹介します。
まず、データセット蒸留におけるソフトラベル利用のためのさまざまな損失関数の包括的な比較を行い、合成データセットでトレーニングされたモデルがソフトラベル利用のための損失関数の選択に対して高い感度を示すことを明らかにします。
この発見は、合成データセットでモデルをトレーニングするための普遍的な損失関数の必要性を強調しています。
これらの洞察に基づいて、完全なラベル情報を効率的に活用するためのソフトラベルの改良とコサイン類似度ベースの損失関数を含む、非常にシンプルでありながら驚くほど効果的なプラグアンドプレイアプローチであるGIFTを導入します。
広範な実験により、GIFT が追加の計算コストを発生させることなく、さまざまなスケールのデータセットにわたって最先端のデータセット蒸留手法を一貫して強化できることが実証されました。
たとえば、IPC = 10 の ImageNet-1K では、GIFT は SOTA メソッド RDED を ConvNet と ResNet-18 でそれぞれ 3.9% と 1.8% 改善します。
コード: https://github.com/LINs-lab/GIFT。

要約(オリジナル)

Recent advancements in dataset distillation have demonstrated the significant benefits of employing soft labels generated by pre-trained teacher models. In this paper, we introduce a novel perspective by emphasizing the full utilization of labels. We first conduct a comprehensive comparison of various loss functions for soft label utilization in dataset distillation, revealing that the model trained on the synthetic dataset exhibits high sensitivity to the choice of loss function for soft label utilization. This finding highlights the necessity of a universal loss function for training models on synthetic datasets. Building on these insights, we introduce an extremely simple yet surprisingly effective plug-and-play approach, GIFT, which encompasses soft label refinement and a cosine similarity-based loss function to efficiently leverage full label information. Extensive experiments demonstrate that GIFT consistently enhances the state-of-the-art dataset distillation methods across various scales datasets without incurring additional computational costs. For instance, on ImageNet-1K with IPC = 10, GIFT improves the SOTA method RDED by 3.9% and 1.8% on ConvNet and ResNet-18, respectively. Code: https://github.com/LINs-lab/GIFT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google