Break-for-Make: Modular Low-Rank Adaptations for Composable Content-Style Customization

要約

パーソナライズされた生成パラダイムにより、デザイナーは、いくつかの画像に対して事前トレーニングされたテキストから画像へのモデルを調整または適応させることで、テキストの説明を利用して視覚的な知的財産をカスタマイズできるようになります。
最近の研究では、コンテンツと詳細なビジュアル スタイルの外観の両方を同時にカスタマイズするアプローチを模索しています。
ただし、これらの既存のアプローチでは、コンテンツとスタイルが複雑に絡み合った画像が生成されることがよくあります。
本研究では、コンテンツとスタイルの概念のカスタマイズをパラメータ空間構築の観点から再考します。
コンテンツとスタイルの共有パラメータ空間を利用する既存の手法とは異なり、パラメータ空間を分離してコンテンツとスタイルの個別の学習を促進し、それによってコンテンツとスタイルの分離を可能にする学習フレームワークを提案します。
この目標を達成するために、「部分学習可能射影」(PLP) 行列を導入して、元のアダプターを分割されたサブパラメーター空間に分離します。
シンプルでありながら効果的なPLPに基づく「ブレイク・フォー・メイク」カスタマイズ学習パイプラインを提案します。
元のアダプターを「アップ投影」と「ダウン投影」に分割し、個別のアダプター内の対応するテキスト プロンプトのガイダンスに従って、PLP のコンテンツとスタイルを個別にトレーニングし、複数対応投影学習戦略を採用することで一般化を維持します。
個別のトレーニング コンテンツとスタイル用に分割されたアダプターに基づいて、コンテンツとスタイルの PLP マトリックスを再構築することでエンティティ パラメーター空間を作成し、その後、結合されたアダプターを微調整して、目的の外観を持つターゲット オブジェクトを生成します。
テクスチャ、マテリアル、芸術的スタイルを含むさまざまなスタイルの実験により、コンテンツとスタイルとプロンプトの調整の点で、私たちの方法が最先端の単一/複数コンセプト学習パイプラインよりも優れていることがわかりました。

要約(オリジナル)

Personalized generation paradigms empower designers to customize visual intellectual properties with the help of textual descriptions by tuning or adapting pre-trained text-to-image models on a few images. Recent works explore approaches for concurrently customizing both content and detailed visual style appearance. However, these existing approaches often generate images where the content and style are entangled. In this study, we reconsider the customization of content and style concepts from the perspective of parameter space construction. Unlike existing methods that utilize a shared parameter space for content and style, we propose a learning framework that separates the parameter space to facilitate individual learning of content and style, thereby enabling disentangled content and style. To achieve this goal, we introduce ‘partly learnable projection’ (PLP) matrices to separate the original adapters into divided sub-parameter spaces. We propose ‘break-for-make’ customization learning pipeline based on PLP, which is simple yet effective. We break the original adapters into ‘up projection’ and ‘down projection’, train content and style PLPs individually with the guidance of corresponding textual prompts in the separate adapters, and maintain generalization by employing a multi-correspondence projection learning strategy. Based on the adapters broken apart for separate training content and style, we then make the entity parameter space by reconstructing the content and style PLPs matrices, followed by fine-tuning the combined adapter to generate the target object with the desired appearance. Experiments on various styles, including textures, materials, and artistic style, show that our method outperforms state-of-the-art single/multiple concept learning pipelines in terms of content-style-prompt alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google