Image Synthesis under Limited Data: A Survey and Taxonomy

要約

特定のデータ分布を再現して新しいサンプルを生成することを目的とした深層生成モデルは、近年前例のない進歩を遂げています。
彼らの技術的進歩により、ビジュアル コンテンツの合成における比類のない品質が可能になりました。
ただし、大成功を収めるための重要な前提条件の 1 つは、十分な数のトレーニング サンプルが利用できることであり、それには大量の計算リソースが必要です。
限られたデータでトレーニングすると、生成モデルは過剰適合や記憶によりパフォーマンスが大幅に低下する傾向があります。
したがって、研究者は最近、限られたトレーニングデータからもっともらしく多様な画像を生成できる新しいモデルの開発に多大な注意を払っています。
限られたデータ シナリオでトレーニングの安定性と合成の品質を向上させるための多くの努力にもかかわらず、次のことを提供する体系的な調査が不足しています。1) 明確な問題定義、重要な課題、およびさまざまなタスクの分類。
2) 既存の文献の長所、短所、および依然として残っている限界に関する詳細な分析。
3) 限られたデータの下での画像合成分野における潜在的な応用と将来の方向性についての徹底的な議論。
このギャップを埋め、このテーマに初めて取り組む研究者に有益な入門書を提供するために、この調査は、限られたデータの下での画像合成の開発に関する包括的なレビューと新しい分類法を提供します。
特に、問題定義、要件、主なソリューション、一般的なベンチマーク、および残された課題を包括的かつ包括的にカバーしています。

要約(オリジナル)

Deep generative models, which target reproducing the given data distribution to produce novel samples, have made unprecedented advancements in recent years. Their technical breakthroughs have enabled unparalleled quality in the synthesis of visual content. However, one critical prerequisite for their tremendous success is the availability of a sufficient number of training samples, which requires massive computation resources. When trained on limited data, generative models tend to suffer from severe performance deterioration due to overfitting and memorization. Accordingly, researchers have devoted considerable attention to develop novel models that are capable of generating plausible and diverse images from limited training data recently. Despite numerous efforts to enhance training stability and synthesis quality in the limited data scenarios, there is a lack of a systematic survey that provides 1) a clear problem definition, critical challenges, and taxonomy of various tasks; 2) an in-depth analysis on the pros, cons, and remain limitations of existing literature; as well as 3) a thorough discussion on the potential applications and future directions in the field of image synthesis under limited data. In order to fill this gap and provide a informative introduction to researchers who are new to this topic, this survey offers a comprehensive review and a novel taxonomy on the development of image synthesis under limited data. In particular, it covers the problem definition, requirements, main solutions, popular benchmarks, and remain challenges in a comprehensive and all-around manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google