VINCIE: Unlocking In-context Image Editing from Video

要約

コンテキスト内画像編集は、テキストと以前に生成された画像を含むコンテキストシーケンスに基づいて画像を変更することを目的としています。
既存の方法は通常、トレーニングデータをキュレートするためのタスク固有のパイプラインとエキスパートモデル（セグメンテーションやインドピンティングなど）に依存します。
この作業では、ビデオ内の画像編集モデルをビデオから直接学習できるかどうかを調査します。
インターリーブマルチモーダルシーケンスとしてビデオを注釈にするためのスケーラブルなアプローチを紹介します。
このデータから効果的に学習するために、次のイメージ予測、現在のセグメンテーション予測、および次のセグメンテーション予測の3つのプロキシタスクでトレーニングされたブロックコーサル拡散トランスを設計します。
さらに、この分野での研究を進めるために、新しいマルチターン画像編集ベンチマークを提案します。
広範な実験は、モデルが強力なコンテキスト内画像編集機能を示し、2つのマルチターン画像編集ベンチマークで最新の結果を達成することを示しています。
ビデオのみで訓練されているにもかかわらず、私たちのモデルは、マルチコンセプト構成、ストーリー生成、および編集アプリケーションの有望な能力も示しています。

要約(オリジナル)

In-context image editing aims to modify images based on a contextual sequence comprising text and previously generated images. Existing methods typically depend on task-specific pipelines and expert models (e.g., segmentation and inpainting) to curate training data. In this work, we explore whether an in-context image editing model can be learned directly from videos. We introduce a scalable approach to annotate videos as interleaved multimodal sequences. To effectively learn from this data, we design a block-causal diffusion transformer trained on three proxy tasks: next-image prediction, current segmentation prediction, and next-segmentation prediction. Additionally, we propose a novel multi-turn image editing benchmark to advance research in this area. Extensive experiments demonstrate that our model exhibits strong in-context image editing capabilities and achieves state-of-the-art results on two multi-turn image editing benchmarks. Despite being trained exclusively on videos, our model also shows promising abilities in multi-concept composition, story generation, and chain-of-editing applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google