DistriFusion: Distributed Parallel Inference for High-Resolution Diffusion Models

要約

拡散モデルは高品質の画像を合成することに大きな成功を収めています。
ただし、拡散モデルを使用して高解像度の画像を生成することは、膨大な計算コストのため依然として困難であり、その結果、対話型アプリケーションでは法外な遅延が発生します。
このペーパーでは、複数の GPU にわたる並列処理を活用してこの問題に取り組む DistriFusion を提案します。
私たちの方法では、モデル入力を複数のパッチに分割し、各パッチを GPU に割り当てます。
ただし、このようなアルゴリズムを単純に実装すると、パッチ間の相互作用が壊れて忠実度が失われ、そのような相互作用を組み込むと多大な通信オーバーヘッドが発生します。
このジレンマを克服するために、隣接する拡散ステップからの入力間の高い類似性を観察し、前のタイムステップから事前に計算された特徴マップを再利用して拡散プロセスの逐次的性質を利用してコンテキストを提供する、変位パッチ並列処理を提案します。
現在のステップ。
したがって、私たちの方法は、計算によってパイプライン化できる非同期通信をサポートします。
広範な実験により、私たちの方法は品質を劣化させることなく最近の Stable Diffusion XL に適用でき、1 台の NVIDIA A100 と比較して 8 台の NVIDIA A100 で最大 6.1 倍の高速化を達成できることが示されています。
私たちのコードは https://github.com/mit-han-lab/distrifuser で公開されています。

要約(オリジナル)

Diffusion models have achieved great success in synthesizing high-quality images. However, generating high-resolution images with diffusion models is still challenging due to the enormous computational costs, resulting in a prohibitive latency for interactive applications. In this paper, we propose DistriFusion to tackle this problem by leveraging parallelism across multiple GPUs. Our method splits the model input into multiple patches and assigns each patch to a GPU. However, na\'{\i}vely implementing such an algorithm breaks the interaction between patches and loses fidelity, while incorporating such an interaction will incur tremendous communication overhead. To overcome this dilemma, we observe the high similarity between the input from adjacent diffusion steps and propose displaced patch parallelism, which takes advantage of the sequential nature of the diffusion process by reusing the pre-computed feature maps from the previous timestep to provide context for the current step. Therefore, our method supports asynchronous communication, which can be pipelined by computation. Extensive experiments show that our method can be applied to recent Stable Diffusion XL with no quality degradation and achieve up to a 6.1$\times$ speedup on eight NVIDIA A100s compared to one. Our code is publicly available at https://github.com/mit-han-lab/distrifuser.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google