Conditional Image Generation with Pretrained Generative Model

要約

近年、GANモデルに比べて高画質な画像を生成できる拡散モデルが人気を集めています。
ただし、他の大規模な生成モデルと同様に、これらのモデルでもトレーニングを成功させるには、膨大な量のデータ、計算リソース、および綿密な調整が必要です。
これは重大な課題を引き起こし、ほとんどの人にとって実行不可能なものとなります。
その結果、研究コミュニティは、条件付き画像生成を目的として、追加のガイダンスを備えた事前トレーニング済みの無条件拡散モデルを活用する方法を考案しました。
これらの方法により、さまざまな入力に対する条件付き画像生成が可能になり、最も重要なことに、拡散モデルのトレーニングの必要性が回避されます。
このペーパーでは、同等の画質を維持しながら、拡散モデルにガイダンスを追加することで生じる所要時間と計算オーバーヘッドを削減することを目的としています。
私たちは経験的分析に基づいた一連の方法を提案し、計算時間が約 3 倍短縮されることを実証しています。

要約(オリジナル)

In recent years, diffusion models have gained popularity for their ability to generate higher-quality images in comparison to GAN models. However, like any other large generative models, these models require a huge amount of data, computational resources, and meticulous tuning for successful training. This poses a significant challenge, rendering it infeasible for most individuals. As a result, the research community has devised methods to leverage pre-trained unconditional diffusion models with additional guidance for the purpose of conditional image generative. These methods enable conditional image generations on diverse inputs and, most importantly, circumvent the need for training the diffusion model. In this paper, our objective is to reduce the time-required and computational overhead introduced by the addition of guidance in diffusion models — while maintaining comparable image quality. We propose a set of methods based on our empirical analysis, demonstrating a reduction in computation time by approximately threefold.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google