ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs

要約

コンセプト主導のパーソナライゼーションのために生成モデルを微調整する方法は、一般に、主題主導またはスタイル主導の生成で優れた結果を達成します。
最近、低ランク適応 (LoRA) が、コンセプト主導のパーソナライゼーションを達成するパラメータ効率の高い方法として提案されています。
最近の研究では、個別の LoRA を組み合わせて学習スタイルと主題の共同生成を実現することが検討されていますが、既存の技術ではこの問題に確実に対処できません。
多くの場合、主題の忠実性またはスタイルの忠実性が損なわれます。
我々は、ユーザーが提供した任意のスタイルでユーザーが提供したサブジェクトの生成を実現するために、独自にトレーニングされたスタイルとサブジェクト LoRA を安価かつ効果的にマージする方法である ZipLoRA を提案します。
主題とスタイルの幅広い組み合わせに関する実験では、ZipLoRA が再コンテキスト化の機能を維持しながら、主題とスタイルの忠実度がベースラインより大幅に改善され、説得力のある結果を生成できることが示されています。
プロジェクトページ: https://ziplora.github.io

要約(オリジナル)

Methods for finetuning generative models for concept-driven personalization generally achieve strong results for subject-driven or style-driven generation. Recently, low-rank adaptations (LoRA) have been proposed as a parameter-efficient way of achieving concept-driven personalization. While recent work explores the combination of separate LoRAs to achieve joint generation of learned styles and subjects, existing techniques do not reliably address the problem; they often compromise either subject fidelity or style fidelity. We propose ZipLoRA, a method to cheaply and effectively merge independently trained style and subject LoRAs in order to achieve generation of any user-provided subject in any user-provided style. Experiments on a wide range of subject and style combinations show that ZipLoRA can generate compelling results with meaningful improvements over baselines in subject and style fidelity while preserving the ability to recontextualize. Project page: https://ziplora.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google