Generalizing Dataset Distillation via Deep Generative Prior

要約

タイトル：Deep Generative Priorを用いたデータセットの汎用的な抽出

要約：
– データセット抽出は、少量の合成画像にデータセット全体の知識を凝縮することを目指します。
– しかし、既存のデータセット抽出方法は新しいアーキテクチャには一般化できず、高解像度のデータセットにスケールさせることができません。
– この問題を克服するため、深い生成モデルから学習された優先順位を使用して、抽出されたデータを合成することを提案します。
– これを達成するために、我々は、生成モデルの潜在空間にある少数の中間の特徴ベクトルに大量の画像を抽出する新しい最適化アルゴリズムを提示します。
– 我々の方法は、既存の技術を拡張することで、すべての設定においてアーキテクチャの交差一般化を大幅に改善します。

要約(オリジナル)

Dataset Distillation aims to distill an entire dataset’s knowledge into a few synthetic images. The idea is to synthesize a small number of synthetic data points that, when given to a learning algorithm as training data, result in a model approximating one trained on the original data. Despite recent progress in the field, existing dataset distillation methods fail to generalize to new architectures and scale to high-resolution datasets. To overcome the above issues, we propose to use the learned prior from pre-trained deep generative models to synthesize the distilled data. To achieve this, we present a new optimization algorithm that distills a large number of images into a few intermediate feature vectors in the generative model’s latent space. Our method augments existing techniques, significantly improving cross-architecture generalization in all settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI