DataDream: Few-shot Guided Dataset Generation

要約

テキストから画像への拡散モデルは、画像合成において最先端の結果を達成することが示されていますが、下流のアプリケーションでの有効性はまだ証明されていません。
以前の研究では、実際のデータへのアクセスが限られている場合に、画像分類器トレーニング用のデータを生成することが提案されています。
ただし、これらの方法では、分布内の画像を生成したり、きめ細かい特徴を描写したりするのが難しく、合成データセットでトレーニングされた分類モデルの一般化が妨げられています。
私たちは、ターゲット クラスの数ショットの例に基づいて実際のデータ分布をより忠実に表現する、分類データセットを合成するためのフレームワークである DataDream を提案します。
DataDream は、適応されたモデルを使用してトレーニング データを生成する前に、いくつかの実画像に対する画像生成モデルの LoRA 重みを微調整します。
次に、合成データを使用して CLIP の LoRA 重みを微調整し、さまざまなデータセットに対する以前のアプローチよりも下流の画像分類を向上させます。
私たちは、広範な実験を通じて DataDream の有効性を実証し、10 のデータセットのうち 7 の少数ショット データで最先端の分類精度を上回り、他の 3 つのデータセットでは競争力を備えています。さらに、さまざまなデータセットの影響についての洞察も提供します。
実際に撮影された画像や生成された画像の数、モデルのパフォーマンスの計算の微調整などの要素が含まれます。
コードは https://github.com/ExplainableML/DataDream で入手できます。

要約(オリジナル)

While text-to-image diffusion models have been shown to achieve state-of-the-art results in image synthesis, they have yet to prove their effectiveness in downstream applications. Previous work has proposed to generate data for image classifier training given limited real data access. However, these methods struggle to generate in-distribution images or depict fine-grained features, thereby hindering the generalization of classification models trained on synthetic datasets. We propose DataDream, a framework for synthesizing classification datasets that more faithfully represents the real data distribution when guided by few-shot examples of the target classes. DataDream fine-tunes LoRA weights for the image generation model on the few real images before generating the training data using the adapted model. We then fine-tune LoRA weights for CLIP using the synthetic data to improve downstream image classification over previous approaches on a large variety of datasets. We demonstrate the efficacy of DataDream through extensive experiments, surpassing state-of-the-art classification accuracy with few-shot data across 7 out of 10 datasets, while being competitive on the other 3. Additionally, we provide insights into the impact of various factors, such as the number of real-shot and generated images as well as the fine-tuning compute on model performance. The code is available at https://github.com/ExplainableML/DataDream.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google