ControlNeXt: Powerful and Efficient Control for Image and Video Generation

要約

拡散モデルは、画像とビデオの生成の両方において顕著で強力な能力を実証しました。
生成された結果をより詳細に制御するために、研究者は、ControlNet、Adapter、ReferenceNet などの追加のアーキテクチャを導入して、コンディショニング制御を統合しています。
ただし、現在の制御可能な生成方法は、多くの場合、特にビデオ生成にかなりの追加の計算リソースを必要とし、トレーニングで課題に直面したり、制御が弱い場合があります。
この論文では、制御可能な画像とビデオを生成するための強力かつ効率的な方法である ControlNeXt を提案します。
まず、より単純で効率的なアーキテクチャを設計し、基本モデルと比較して最小限の追加コストで大量の追加ブランチを置き換えます。
このような簡潔な構造により、私たちのメソッドが他の LoRA ウェイトとシームレスに統合できるようになり、追加のトレーニングを必要とせずにスタイルの変更が可能になります。
トレーニングに関しては、代替手段と比較して学習可能なパラメータを最大 90% 削減します。
さらに、高速で安定したトレーニング収束を実現するために、「ゼロ畳み込み」の代わりにクロス正規化 (CN) と呼ばれる別の方法を提案します。
私たちは、画像やビデオにわたるさまざまな基本モデルを使用してさまざまな実験を実施し、私たちの方法の堅牢性を実証しました。

要約(オリジナル)

Diffusion models have demonstrated remarkable and robust abilities in both image and video generation. To achieve greater control over generated results, researchers introduce additional architectures, such as ControlNet, Adapters and ReferenceNet, to integrate conditioning controls. However, current controllable generation methods often require substantial additional computational resources, especially for video generation, and face challenges in training or exhibit weak control. In this paper, we propose ControlNeXt: a powerful and efficient method for controllable image and video generation. We first design a more straightforward and efficient architecture, replacing heavy additional branches with minimal additional cost compared to the base model. Such a concise structure also allows our method to seamlessly integrate with other LoRA weights, enabling style alteration without the need for additional training. As for training, we reduce up to 90% of learnable parameters compared to the alternatives. Furthermore, we propose another method called Cross Normalization (CN) as a replacement for Zero-Convolution’ to achieve fast and stable training convergence. We have conducted various experiments with different base models across images and videos, demonstrating the robustness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google