DataDAM: Efficient Dataset Distillation with Attention Matching

要約

研究者たちは長い間、多様なデータセットにわたって強力な一般化を維持しながら、ディープラーニングのトレーニングコストを最小限に抑えようと試みてきました。
データセット蒸留に関する新たな研究は、より大きな実際のデータセットの情報を含む小さな合成セットを作成することでトレーニング コストを削減し、最終的にはデータセット全体でトレーニングされたモデルと同等のテスト精度を達成することを目的としています。
残念ながら、以前の方法で生成された合成データは、元のトレーニング データと同様に分散および識別できることが保証されておらず、多大な計算コストがかかります。
有望な結果にもかかわらず、圧縮合成セットでトレーニングされたモデルとデータセット全体でトレーニングされたモデルの間には、依然として大きなパフォーマンスのギャップが存在します。
このペーパーでは、効率的な Dataset Distillation with Attendant Matching (DataDAM) を使用してこれらの課題に取り組み、トレーニング コストを削減しながら最先端のパフォーマンスを実現します。
具体的には、ランダムに初期化されたニューラル ネットワークのファミリー内のさまざまな層によって生成された実際のデータと合成データの空間アテンション マップを照合することで、合成画像を学習します。
私たちの手法は、ほとんどの設定において、CIFAR10/100、TinyImageNet、ImageNet-1K、ImageNet-1K のサブセットを含むいくつかのデータセットで以前の手法よりも優れたパフォーマンスを示し、CIFAR100 と ImageNet-1K で最大 6.5% と 4.1% の改善を達成しました。
、 それぞれ。
また、高品質の蒸留画像が、継続学習やニューラル アーキテクチャ検索などの下流アプリケーションにとって実用的な利点があることも示します。

要約(オリジナル)

Researchers have long tried to minimize training costs in deep learning while maintaining strong generalization across diverse datasets. Emerging research on dataset distillation aims to reduce training costs by creating a small synthetic set that contains the information of a larger real dataset and ultimately achieves test accuracy equivalent to a model trained on the whole dataset. Unfortunately, the synthetic data generated by previous methods are not guaranteed to distribute and discriminate as well as the original training data, and they incur significant computational costs. Despite promising results, there still exists a significant performance gap between models trained on condensed synthetic sets and those trained on the whole dataset. In this paper, we address these challenges using efficient Dataset Distillation with Attention Matching (DataDAM), achieving state-of-the-art performance while reducing training costs. Specifically, we learn synthetic images by matching the spatial attention maps of real and synthetic data generated by different layers within a family of randomly initialized neural networks. Our method outperforms the prior methods on several datasets, including CIFAR10/100, TinyImageNet, ImageNet-1K, and subsets of ImageNet-1K across most of the settings, and achieves improvements of up to 6.5% and 4.1% on CIFAR100 and ImageNet-1K, respectively. We also show that our high-quality distilled images have practical benefits for downstream applications, such as continual learning and neural architecture search.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google