Expanding Small-Scale Datasets with Guided Imagination

要約

DNNの威力は、学習データの量と質に大きく依存する。しかし、大規模なデータの収集と注釈付けは、しばしば高価で時間がかかる。この問題に対処するために、我々はデータセット拡張と呼ばれる新しいタスクを探求する。このタスクは、新しいラベル付きサンプルを自動的に作成することで、すぐに使える小さなデータセットを拡張することを目的としている。この目的のために、DALL-E2やStable Diffusion (SD)のような最先端の生成モデルを活用して、入力されたシードデータから「想像」し、有益な新しいデータを作成するGuided Imagination Framework (GIF)を提示する。具体的には、GIFは、シードデータの潜在的特徴を事前モデルの意味空間において最適化することによってデータ想像を行い、その結果、新しいコンテンツを持つフォトリアリスティックな画像を作成する。モデル学習のための有益なサンプルを作成するための想像力を導くために、我々は2つの重要な基準、すなわちクラス維持情報ブースティングとサンプル多様性促進を導入する。これらの基準は効果的なデータセット拡張に不可欠であることが検証された：GIF-SDは、自然画像データセットにおいて、SDを用いたガイドなしの拡張よりも13.5%高いモデル精度を得る。これらの不可欠な基準により、GIFは様々なシナリオにおいて小規模なデータセットの拡張に成功し、6つの自然画像データセットにおいて平均36.9%、3つの医療データセットにおいて平均13.5%モデル精度を向上させた。ソースコードはhttps://github.com/Vanint/DatasetExpansion。

要約(オリジナル)

The power of DNNs relies heavily on the quantity and quality of training data. However, collecting and annotating data on a large scale is often expensive and time-consuming. To address this issue, we explore a new task, termed dataset expansion, aimed at expanding a ready-to-use small dataset by automatically creating new labeled samples. To this end, we present a Guided Imagination Framework (GIF) that leverages cutting-edge generative models like DALL-E2 and Stable Diffusion (SD) to ‘imagine’ and create informative new data from the input seed data. Specifically, GIF conducts data imagination by optimizing the latent features of the seed data in the semantically meaningful space of the prior model, resulting in the creation of photo-realistic images with new content. To guide the imagination towards creating informative samples for model training, we introduce two key criteria, i.e., class-maintained information boosting and sample diversity promotion. These criteria are verified to be essential for effective dataset expansion: GIF-SD obtains 13.5% higher model accuracy on natural image datasets than unguided expansion with SD. With these essential criteria, GIF successfully expands small datasets in various scenarios, boosting model accuracy by 36.9% on average over six natural image datasets and by 13.5% on average over three medical datasets. The source code is available at https://github.com/Vanint/DatasetExpansion.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL