Memory Efficient Diffusion Probabilistic Models via Patch-based Generation

要約

【タイトル】パッチベースの生成によるメモリ効率の良い拡散確率モデル

【要約】
– 伝搬性確率モデルは、高品質かつ多様な画像の生成に成功しているが、入力と出力が高解像度の画像である従来のモデルは、メモリ要件が過剰であり、エッジデバイスでは実用性が低い。
– 以前の生成的対抗的ネットワークのアプローチでは、位置符号化とグローバルコンテンツ情報を使用したパッチベースの方法が提案されているが、拡散確率モデルに対するパッチベースのアプローチを設計することは困難である。
– 本研究では、パッチごとに画像を生成する拡散確率モデルを提案する。パッチベースの生成のために2つの調整方法を提案する。第一に、パッチが正しい位置にあることを確保するために、位置毎に1ビット表現を使用した条件付き法を提案する。第二に、パッチが連結されたときに一貫した内容を持つことを確保するために、グローバルコンテンツ調整（GCC）を提案する。
– CelebAとLSUNベッドルームのデータセットで、モデルを定性的および定量的に評価し、最大メモリ消費量と生成された画像の品質の中程度のトレードオフを示す。具体的には、画像全体を2×2のパッチに分割した場合、提案手法では最大メモリ消費量を半減させながら、比較可能な画像品質を維持することができる。

要約(オリジナル)

Diffusion probabilistic models have been successful in generating high-quality and diverse images. However, traditional models, whose input and output are high-resolution images, suffer from excessive memory requirements, making them less practical for edge devices. Previous approaches for generative adversarial networks proposed a patch-based method that uses positional encoding and global content information. Nevertheless, designing a patch-based approach for diffusion probabilistic models is non-trivial. In this paper, we resent a diffusion probabilistic model that generates images on a patch-by-patch basis. We propose two conditioning methods for a patch-based generation. First, we propose position-wise conditioning using one-hot representation to ensure patches are in proper positions. Second, we propose Global Content Conditioning (GCC) to ensure patches have coherent content when concatenated together. We evaluate our model qualitatively and quantitatively on CelebA and LSUN bedroom datasets and demonstrate a moderate trade-off between maximum memory consumption and generated image quality. Specifically, when an entire image is divided into 2 x 2 patches, our proposed approach can reduce the maximum memory consumption by half while maintaining comparable image quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI