Expanding Small-Scale Datasets with Guided Imagination

要約

DNN の能力は、トレーニング データの量と質に大きく依存します。
ただし、大規模なデータの収集と注釈付けには、多くの場合、費用と時間がかかります。
この問題に対処するために、新しいラベル付きサンプルを自動的に作成することで、すぐに使用できる小さなデータセットを拡張することを目的とした、データセット拡張と呼ばれる新しいタスクを検討します。
この目的を達成するために、DALL-E2 や安定拡散 (SD) などの最先端の生成モデルを活用して、入力シード データから有益な新しいデータを「想像」して作成する、ガイド付き想像フレームワーク (GIF) を紹介します。
具体的には、GIF は、以前のモデルの意味的に意味のある空間内のシード データの潜在的な特徴を最適化することによってデータ想像を行い、その結果、新しいコンテンツを含むフォトリアリスティックな画像が作成されます。
モデルトレーニング用の有益なサンプルの作成に向けて想像力を導くために、2 つの重要な基準、つまりクラス維持型情報ブーストとサンプル多様性促進を導入します。
これらの基準は、効果的なデータセット拡張に不可欠であることが検証されています。GIF-SD は、SD によるガイドなし拡張よりも自然画像データセットで 13.5% 高いモデル精度を獲得します。
これらの重要な基準により、GIF はさまざまなシナリオで小規模なデータセットを拡張することに成功し、モデルの精度が 6 つの自然画像データセットで平均 36.9%、3 つの医療データセットで平均 13.5% 向上しました。
ソース コードは https://github.com/Vanint/DatasetExpansion で入手できます。

要約(オリジナル)

The power of DNNs relies heavily on the quantity and quality of training data. However, collecting and annotating data on a large scale is often expensive and time-consuming. To address this issue, we explore a new task, termed dataset expansion, aimed at expanding a ready-to-use small dataset by automatically creating new labeled samples. To this end, we present a Guided Imagination Framework (GIF) that leverages cutting-edge generative models like DALL-E2 and Stable Diffusion (SD) to ‘imagine’ and create informative new data from the input seed data. Specifically, GIF conducts data imagination by optimizing the latent features of the seed data in the semantically meaningful space of the prior model, resulting in the creation of photo-realistic images with new content. To guide the imagination towards creating informative samples for model training, we introduce two key criteria, i.e., class-maintained information boosting and sample diversity promotion. These criteria are verified to be essential for effective dataset expansion: GIF-SD obtains 13.5% higher model accuracy on natural image datasets than unguided expansion with SD. With these essential criteria, GIF successfully expands small datasets in various scenarios, boosting model accuracy by 36.9% on average over six natural image datasets and by 13.5% on average over three medical datasets. The source code is available at https://github.com/Vanint/DatasetExpansion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google