MaGIC: Multi-modality Guided Image Completion

要約

バニラ画像補完アプローチは、妥当な生成のための参照情報の利用可能性が限られているため、大きな欠落領域に対して敏感です。
これを軽減するために、既存の方法では、画像を完成させるためのガイドとして追加のキューを組み込んでいます。
改善にもかかわらず、これらのアプローチは多くの場合、単一のモダリティ (セグメンテーションやスケッチ マップなど) の使用に制限されており、より妥当な完成を実現するためにマルチモダリティを活用する際のスケーラビリティに欠けています。
この論文では、MaGIC と呼ばれる、マルチモーダル ガイド付き画像補完のための、シンプルかつ効果的な新しい方法を提案します。これは、ガイダンスとして幅広い単一モダリティ (例: テキスト、キャニー エッジ、スケッチ、セグメンテーション、深度など) をサポートするだけではありません。
、およびポーズ）だけでなく、画像を完成させるためにこれらのモダリティの任意にカスタマイズされた組み合わせ（つまり、任意のマルチモダリティ）にも適応します。
MaGIC を構築するために、まず、単一モーダルのガイド付き画像を完成させるために、単一モーダル信号を U-Net デノイザーに注入するモダリティ固有の条件付き U-Net (MCU-Net) を導入します。
次に、潜在空間での勾配ガイダンスを通じて複数の学習済み MCU ネットでエンコードされたモダリティ信号を活用する一貫したモダリティ ブレンディング (CMB) 手法を考案します。
当社の CMB はトレーニングが不要であるため、さまざまなモダリティの面倒な共同再トレーニングを回避できます。これが、新しいモダリティを完了するために優れた柔軟性を実現する MaGIC の秘密です。
実験では、最先端の手法に対する MaGIC の優位性と、さまざまな完了タスクへの MaGIC の一般化が示されています。
コードとモデルを含む私たちのプロジェクトは、yeates.github.io/MaGIC-Page/ で入手できます。

要約(オリジナル)

Vanilla image completion approaches exhibit sensitivity to large missing regions, attributed to the limited availability of reference information for plausible generation. To mitigate this, existing methods incorporate the extra cue as a guidance for image completion. Despite improvements, these approaches are often restricted to employing a single modality (e.g., segmentation or sketch maps), which lacks scalability in leveraging multi-modality for more plausible completion. In this paper, we propose a novel, simple yet effective method for Multi-modal Guided Image Completion, dubbed MaGIC, which not only supports a wide range of single modality as the guidance (e.g., text, canny edge, sketch, segmentation, depth, and pose), but also adapts to arbitrarily customized combination of these modalities (i.e., arbitrary multi-modality) for image completion. For building MaGIC, we first introduce a modality-specific conditional U-Net (MCU-Net) that injects single-modal signal into a U-Net denoiser for single-modal guided image completion. Then, we devise a consistent modality blending (CMB) method to leverage modality signals encoded in multiple learned MCU-Nets through gradient guidance in latent space. Our CMB is training-free, thereby avoids the cumbersome joint re-training of different modalities, which is the secret of MaGIC to achieve exceptional flexibility in accommodating new modalities for completion. Experiments show the superiority of MaGIC over state-of-the-art methods and its generalization to various completion tasks. Our project with code and models is available at yeates.github.io/MaGIC-Page/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google