UIP2P: Unsupervised Instruction-based Image Editing via Cycle Edit Consistency

要約

私たちは、トレーニング中にグラウンドトゥルース編集された画像の必要性を排除する、命令ベースの画像編集のための教師なしモデルを提案します。
既存の教師あり手法は、入力画像、編集画像、編集命令の 3 つの要素を含むデータセットに依存しています。
これらは既存の編集方法または人間による注釈によって生成され、バイアスが生じ、一般化能力が制限されます。
私たちの手法は、Cycle Edit Consistency (CEC) と呼ばれる新しい編集メカニズムを導入することでこれらの課題に対処します。これは、1 つのトレーニング ステップで前方編集と後方編集を適用し、画像と注意空間の一貫性を強制します。
これにより、グラウンドトゥルース編集画像の必要性が回避され、実際の画像とキャプションのペアまたは画像とキャプション編集のトリプレットのいずれかを含むデータセットでのトレーニングが初めて可能になります。
私たちは、教師なしテクニックがより広範囲の編集において高い忠実度と精度でより優れたパフォーマンスを発揮することを経験的に示しています。
トリプレットの既存のデータセットの必要性を排除し、教師あり手法に関連するバイアスを軽減し、CEC を提案することにより、私たちの研究は命令ベースの画像編集のスケーリングのブロックを解除する上での大幅な進歩を表しています。

要約(オリジナル)

We propose an unsupervised model for instruction-based image editing that eliminates the need for ground-truth edited images during training. Existing supervised methods depend on datasets containing triplets of input image, edited image, and edit instruction. These are generated by either existing editing methods or human-annotations, which introduce biases and limit their generalization ability. Our method addresses these challenges by introducing a novel editing mechanism called Cycle Edit Consistency (CEC), which applies forward and backward edits in one training step and enforces consistency in image and attention spaces. This allows us to bypass the need for ground-truth edited images and unlock training for the first time on datasets comprising either real image-caption pairs or image-caption-edit triplets. We empirically show that our unsupervised technique performs better across a broader range of edits with high fidelity and precision. By eliminating the need for pre-existing datasets of triplets, reducing biases associated with supervised methods, and proposing CEC, our work represents a significant advancement in unblocking scaling of instruction-based image editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google