Is synthetic data from generative models ready for image recognition?

要約

最近のテキストから画像への生成モデルは、忠実度の高い写真のようにリアルな画像の生成において有望な結果を示しています。
結果は人間の目には驚くべきものですが、これらの生成された画像が認識タスクにどの程度適用できるかはまだ調査されていません。
この作業では、最先端のテキストから画像への生成モデルから生成された合成画像を画像認識タスクに使用できるかどうか、およびその方法を広く研究し、次の 2 つの観点に焦点を当てます。データの分類モデルを改善するための合成データ
-希少な設定 (つまり、ゼロショットと少数ショット)、および転移学習のための大規模モデルの事前トレーニング用の合成データ。
既存の生成モデルからの合成データの強力さと欠点を紹介し、認識タスクに合成データをより適切に適用するための戦略を提案します。
コード: https://github.com/CVMI-Lab/SyntheticData.

要約(オリジナル)

Recent text-to-image generation models have shown promising results in generating high-fidelity photo-realistic images. Though the results are astonishing to human eyes, how applicable these generated images are for recognition tasks remains under-explored. In this work, we extensively study whether and how synthetic images generated from state-of-the-art text-to-image generation models can be used for image recognition tasks, and focus on two perspectives: synthetic data for improving classification models in data-scarce settings (i.e. zero-shot and few-shot), and synthetic data for large-scale model pre-training for transfer learning. We showcase the powerfulness and shortcomings of synthetic data from existing generative models, and propose strategies for better applying synthetic data for recognition tasks. Code: https://github.com/CVMI-Lab/SyntheticData.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google