Data Pruning in Generative Diffusion Models

要約

データ プルーニングは、トレーニングに最も有益なコア サブセットを特定し、残りを破棄する問題です。
枝刈り戦略は、分類に使用されるような識別モデルについてはよく研究されていますが、生成モデルへの適用についてはほとんど研究が行われていません。
生成モデルはデータの基礎となる分布を推定することを目的としているため、おそらく大規模なデータセットから恩恵を受けるはずです。
この研究では、この記述の正確さを明らかにし、特に生成拡散モデルのデータ プルーニングがプラスの影響を与える可能性があるかどうかという質問に答えることを目的としています。
直観に反して、大規模なデータセット内の冗長なデータやノイズの多いデータを排除することは、特に戦略的に実行された場合に有益であることを示します。
私たちは、最新の手法を含むいくつかの枝刈り手法を実験し、CelebA-HQ および ImageNet データセットに対して評価を行います。
単純なクラスタリング手法が、他の高度で計算量の多い手法よりも優れていることを示します。
さらに、クラスタリングを活用して教師なしの方法で偏ったデータセットのバランスをとり、データ分布で過小評価されている母集団の公平なサンプリングを可能にする方法を示します。これは生成モデルの重要な問題です。

要約(オリジナル)

Data pruning is the problem of identifying a core subset that is most beneficial to training and discarding the remainder. While pruning strategies are well studied for discriminative models like those used in classification, little research has gone into their application to generative models. Generative models aim to estimate the underlying distribution of the data, so presumably they should benefit from larger datasets. In this work we aim to shed light on the accuracy of this statement, specifically answer the question of whether data pruning for generative diffusion models could have a positive impact. Contrary to intuition, we show that eliminating redundant or noisy data in large datasets is beneficial particularly when done strategically. We experiment with several pruning methods including recent-state-of-art methods, and evaluate over CelebA-HQ and ImageNet datasets. We demonstrate that a simple clustering method outperforms other sophisticated and computationally demanding methods. We further exhibit how we can leverage clustering to balance skewed datasets in an unsupervised manner to allow fair sampling for underrepresented populations in the data distribution, which is a crucial problem in generative models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google