InstructBrush: Learning Attention-based Instruction Optimization for Image Editing

要約

近年、画像編集においては命令ベースの画像編集手法が注目を集めている。
しかし、これらの方法は広範囲の編集事前条件を網羅しているにもかかわらず、言語を通じて正確に説明することが難しい編集タスクを処理する場合には役に立ちません。
このギャップを埋めるために、命令ベースの画像編集方法の反転メソッドである InstructBrush を提案します。
見本画像ペアから編集効果を編集指示として抽出し、さらに画像編集に適用します。
InstructBrush には、反転効果と命令の一般化に関する以前の方法の制限に対処するために、アテンションベースの命令最適化と変換指向の命令初期化という 2 つの主要な手法が InstructBrush に導入されています。
オープン シナリオで画像編集をガイドする命令反転メソッドの機能を調査するために、豊富なシーンと編集タイプのセットを含む TransformationOriented ペア ベンチマーク (TOP-Bench) を確立します。
このベンチマークの作成により、命令反転のさらなる研究への道が開かれます。
量的および定性的に、私たちのアプローチは編集において優れたパフォーマンスを達成し、ターゲットの編集効果と意味的により一貫性があります。

要約(オリジナル)

In recent years, instruction-based image editing methods have garnered significant attention in image editing. However, despite encompassing a wide range of editing priors, these methods are helpless when handling editing tasks that are challenging to accurately describe through language. We propose InstructBrush, an inversion method for instruction-based image editing methods to bridge this gap. It extracts editing effects from exemplar image pairs as editing instructions, which are further applied for image editing. Two key techniques are introduced into InstructBrush, Attention-based Instruction Optimization and Transformation-oriented Instruction Initialization, to address the limitations of the previous method in terms of inversion effects and instruction generalization. To explore the ability of instruction inversion methods to guide image editing in open scenarios, we establish a TransformationOriented Paired Benchmark (TOP-Bench), which contains a rich set of scenes and editing types. The creation of this benchmark paves the way for further exploration of instruction inversion. Quantitatively and qualitatively, our approach achieves superior performance in editing and is more semantically consistent with the target editing effects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google