MoMA: Multimodal LLM Adapter for Fast Personalized Image Generation

要約

このホワイトペーパーでは、柔軟なゼロショット機能を誇る、オープンボキャブラリーでトレーニング不要のパーソナライズされた画像モデルである MoMA を紹介します。
基本的なテキストから画像へのモデルが急速に進化するにつれて、堅牢な画像から画像への変換に対する需要が高まっています。
このニーズに対処するために、MoMA は主題に基づいてパーソナライズされた画像生成を専門としています。
オープンソースのマルチモーダル大規模言語モデル (MLLM) を利用して、特徴抽出とジェネレーターの両方の役割を果たすように MoMA をトレーニングします。
このアプローチは、参照画像とテキスト プロンプト情報を効果的に相乗して価値のある画像特徴を生成し、画像拡散モデルを容易にします。
生成された特徴をより有効に活用するために、画像の特徴を画像拡散モデルに効率的に転送し、生成された画像内のターゲット オブジェクトの類似性を向上させる新しいセルフ アテンション ショートカット手法をさらに導入します。
注目すべきことに、調整不要のプラグアンドプレイ モジュールとして、私たちのモデルは 1 つの参照画像のみを必要とし、細部の忠実度が高く、同一性の保持が強化され、忠実性が高い画像を生成する点で既存の方法よりも優れています。
私たちの仕事はオープンソースであるため、これらの進歩への普遍的なアクセスが提供されます。

要約(オリジナル)

In this paper, we present MoMA: an open-vocabulary, training-free personalized image model that boasts flexible zero-shot capabilities. As foundational text-to-image models rapidly evolve, the demand for robust image-to-image translation grows. Addressing this need, MoMA specializes in subject-driven personalized image generation. Utilizing an open-source, Multimodal Large Language Model (MLLM), we train MoMA to serve a dual role as both a feature extractor and a generator. This approach effectively synergizes reference image and text prompt information to produce valuable image features, facilitating an image diffusion model. To better leverage the generated features, we further introduce a novel self-attention shortcut method that efficiently transfers image features to an image diffusion model, improving the resemblance of the target object in generated images. Remarkably, as a tuning-free plug-and-play module, our model requires only a single reference image and outperforms existing methods in generating images with high detail fidelity, enhanced identity-preservation and prompt faithfulness. Our work is open-source, thereby providing universal access to these advancements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google