Few-shot Image Generation via Information Transfer from the Built Geodesic Surface

要約

限られたデータで学習されたほとんどの生成モデルによって生成された画像は、忠実度、多様性、またはその両方において欠陥が見られることが多い。この限界に対処するための効果的な解決策の一つが、少数ショットの生成モデル適応である。しかし、この種のアプローチは通常、ターゲットドメインへの情報伝達を容易にするために、ソースドメインとして機能する大規模な事前学習済みモデルに依存している。本論文では、2つのモジュールを含むITBGS(Information Transfer from the Built Geodesic Surface)と呼ばれる手法を提案する：これは、測地面上の特徴拡張(FAGS)と補間と正則化(I&R)の2つのモジュールから構成される。FAGSモジュールでは、学習データセットからの画像特徴をプレシェイプ空間に投影することで擬似的なソース領域を作成し、その後、測地面上に新しい特徴を生成する。従って、FAGSを用いた生成モデルの学習において、適応プロセスに事前学習モデルは必要ない。補間された画像をスーパーバイズするためにI&Rモジュールが導入され、生成された画像の品質をさらに向上させるために、それぞれの相対距離が正則化される。定性的および定量的な実験を通して、提案手法が、極端に撮影枚数の少ないシナリオであっても、様々な意味的に異なるデータセットにおいて、一貫して最適または同等の結果を達成することを実証する。

要約(オリジナル)

Images generated by most of generative models trained with limited data often exhibit deficiencies in either fidelity, diversity, or both. One effective solution to address the limitation is few-shot generative model adaption. However, the type of approaches typically rely on a large-scale pre-trained model, serving as a source domain, to facilitate information transfer to the target domain. In this paper, we propose a method called Information Transfer from the Built Geodesic Surface (ITBGS), which contains two module: Feature Augmentation on Geodesic Surface (FAGS); Interpolation and Regularization (I\&R). With the FAGS module, a pseudo-source domain is created by projecting image features from the training dataset into the Pre-Shape Space, subsequently generating new features on the Geodesic surface. Thus, no pre-trained models is needed for the adaption process during the training of generative models with FAGS. I\&R module are introduced for supervising the interpolated images and regularizing their relative distances, respectively, to further enhance the quality of generated images. Through qualitative and quantitative experiments, we demonstrate that the proposed method consistently achieves optimal or comparable results across a diverse range of semantically distinct datasets, even in extremely few-shot scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL