UniCon: Unidirectional Information Flow for Effective Control of Large-Scale Diffusion Models

要約

大規模拡散モデルのトレーニングアダプターの制御と効率を高めるために設計された新しいアーキテクチャであるUniconを紹介します。
拡散モデルとコントロールアダプター間の双方向相互作用に依存する既存の方法とは異なり、ユニコンは拡散ネットワークからアダプターへの単方向の流れを実装し、アダプターだけが最終出力を生成できるようにします。
Uniconは、アダプタートレーニング中にグラデーションを計算および保存する拡散モデルの必要性を排除することにより、計算需要を削減します。
我々の結果は、ユニコンがGPUメモリの使用量を3分の1減らし、トレーニング速度を2.3倍増加させ、同じアダプターパラメーターサイズを維持することを示しています。
さらに、追加の計算リソースを必要とせずに、Uniconは既存のコントロールネットのパラメーター量の2倍のアダプターのトレーニングを可能にします。
一連の画像条件付き生成タスクでは、ユニコンはコントロール入力と例外的な生成能力に対する正確な応答性を実証しています。

要約(オリジナル)

We introduce UniCon, a novel architecture designed to enhance control and efficiency in training adapters for large-scale diffusion models. Unlike existing methods that rely on bidirectional interaction between the diffusion model and control adapter, UniCon implements a unidirectional flow from the diffusion network to the adapter, allowing the adapter alone to generate the final output. UniCon reduces computational demands by eliminating the need for the diffusion model to compute and store gradients during adapter training. Our results indicate that UniCon reduces GPU memory usage by one-third and increases training speed by 2.3 times, while maintaining the same adapter parameter size. Additionally, without requiring extra computational resources, UniCon enables the training of adapters with double the parameter volume of existing ControlNets. In a series of image conditional generation tasks, UniCon has demonstrated precise responsiveness to control inputs and exceptional generation capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google