Squeeze, Recover and Relabel: Dataset Condensation at ImageNet Scale From A New Perspective

要約

我々は、Squeeze, Recover and Relabel (SRe$^2$L) と呼ばれる新しいデータセット圧縮フレームワークを紹介します。これは、トレーニング中のモデルと合成データの 2 レベルの最適化を分離し、効果的なデータセット圧縮のためにさまざまなスケールのデータセット、モデル アーキテクチャ、画像解像度を処理します。
。
提案された方法は、さまざまなデータセット スケールにわたる柔軟性を実証し、合成画像の任意の解像度、高解像度トレーニングによるトレーニング コストとメモリ消費量の低さ、および任意の評価ネットワーク アーキテクチャにスケールアップできる機能に関して複数の利点を示します。
Tiny-ImageNet および完全な ImageNet-1K データセットに対して広範な実験が行われています。
50 IPC 未満では、私たちのアプローチは Tiny-ImageNet と ImageNet-1K で 42.5% と 60.8% という最高の検証精度を達成し、これまでのすべての最先端の方法をそれぞれ 14.5% と 32.9% の差で上回っています。
また、私たちのアプローチは MTT よりも約 52$\times$ (ConvNet-4) と 16$\times$ (ResNet-18) 高速であり、データ合成中のメモリ消費量は 11.6$\times$ と 6.4$\times$ 少なくなります。
。
私たちのコードと、4K 回復バジェットを備えた 50、200 IPC の圧縮データセットは、https://zeyuanyin.github.io/projects/SRe2L/ で入手できます。

要約(オリジナル)

We present a new dataset condensation framework termed Squeeze, Recover and Relabel (SRe$^2$L) that decouples the bilevel optimization of model and synthetic data during training, to handle varying scales of datasets, model architectures and image resolutions for effective dataset condensation. The proposed method demonstrates flexibility across diverse dataset scales and exhibits multiple advantages in terms of arbitrary resolutions of synthesized images, low training cost and memory consumption with high-resolution training, and the ability to scale up to arbitrary evaluation network architectures. Extensive experiments are conducted on Tiny-ImageNet and full ImageNet-1K datasets. Under 50 IPC, our approach achieves the highest 42.5% and 60.8% validation accuracy on Tiny-ImageNet and ImageNet-1K, outperforming all previous state-of-the-art methods by margins of 14.5% and 32.9%, respectively. Our approach also outperforms MTT by approximately 52$\times$ (ConvNet-4) and 16$\times$ (ResNet-18) faster in speed with less memory consumption of 11.6$\times$ and 6.4$\times$ during data synthesis. Our code and condensed datasets of 50, 200 IPC with 4K recovery budget are available at https://zeyuanyin.github.io/projects/SRe2L/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google