Squeezing Large-Scale Diffusion Models for Mobile

要約

拡散モデルの出現により、高忠実度画像合成の範囲が大幅に広がり、実用化と学術研究の両方で顕著な進歩をもたらしました。
現実世界のさまざまなアプリケーションでこのモデルが積極的に採用されるにつれ、オンデバイス展開の必要性が大幅に増加しました。
ただし、10 億を超えるパラメータを持つ安定拡散などの大規模な拡散モデルをモバイル デバイスに展開すると、デバイスによって異なる可能性がある計算リソースとメモリ リソースが限られているため、特有の課題が生じます。
このペーパーでは、iOS デバイスと Android デバイスの両方をサポートする TensorFlow Lite フレームワークを使用してモバイル デバイスに Stable Diffusion を展開するための課題と解決策を示します。
結果として得られる Mobile Stable Diffusion では、モバイル GPU を搭載した Android デバイスでの 512×512 の画像生成で 7 秒未満の推論遅延を実現します。

要約(オリジナル)

The emergence of diffusion models has greatly broadened the scope of high-fidelity image synthesis, resulting in notable advancements in both practical implementation and academic research. With the active adoption of the model in various real-world applications, the need for on-device deployment has grown considerably. However, deploying large diffusion models such as Stable Diffusion with more than one billion parameters to mobile devices poses distinctive challenges due to the limited computational and memory resources, which may vary according to the device. In this paper, we present the challenges and solutions for deploying Stable Diffusion on mobile devices with TensorFlow Lite framework, which supports both iOS and Android devices. The resulting Mobile Stable Diffusion achieves the inference latency of smaller than 7 seconds for a 512×512 image generation on Android devices with mobile GPUs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google