LoRAShop: Training-Free Multi-Concept Image Generation and Editing with Rectified Flow Transformers

要約

LORAモデルを使用したマルチコンセプト画像編集の最初のフレームワークであるLorashopを紹介します。
Lorashopは、フラックススタイルの拡散トランス内の特徴相互作用パターンに関する重要な観察に基づいています：概念固有のトランス機能は、除去プロセスの初期に空間的にコヒーレントな領域をアクティブにします。
この観察結果を活用して、以前のフォワードパスで各概念の解き伸びた潜在マスクを導き出し、パーソナライズされる概念を制限する領域内でのみ対応するロラの重みをブレンドします。
結果の編集は、グローバルなコンテキスト、照明、細かい詳細を保持しながら、複数のサブジェクトまたはスタイルを元のシーンにシームレスに統合します。
私たちの実験は、Lorashopがベースラインと比較してより良いアイデンティティ保存を提供することを示しています。
再訓練と外部の制約を排除することにより、Lorashopはパーソナライズされた拡散モデルを実用的な「Photoshop-with-loras」ツールに変え、構成の視覚的なストーリーテリングと迅速な創造的な反復の新しい道を開きます。

要約(オリジナル)

We introduce LoRAShop, the first framework for multi-concept image editing with LoRA models. LoRAShop builds on a key observation about the feature interaction patterns inside Flux-style diffusion transformers: concept-specific transformer features activate spatially coherent regions early in the denoising process. We harness this observation to derive a disentangled latent mask for each concept in a prior forward pass and blend the corresponding LoRA weights only within regions bounding the concepts to be personalized. The resulting edits seamlessly integrate multiple subjects or styles into the original scene while preserving global context, lighting, and fine details. Our experiments demonstrate that LoRAShop delivers better identity preservation compared to baselines. By eliminating retraining and external constraints, LoRAShop turns personalized diffusion models into a practical `photoshop-with-LoRAs’ tool and opens new avenues for compositional visual storytelling and rapid creative iteration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google