Semantic Image Inversion and Editing using Rectified Stochastic Differential Equations

要約

生成モデルはランダムなノイズを画像に変換します。
その反転は、回復と編集のために画像を構造化ノイズに戻すことを目的としています。
この論文では、(i) 反転と (ii) 整流された流れモデル (Flux など) の確率論的等価物を使用した実画像の編集という 2 つの重要なタスクに取り組みます。
拡散モデル (DM) は最近、画像の生成モデリングの分野で主流を占めていますが、その反転にはドリフトと拡散の非線形性による忠実性と編集性の課題が伴います。
既存の最先端の DM 逆変換アプローチは、追加パラメーターのトレーニングまたは潜在変数のテスト時の最適化に依存しています。
実際にはどちらも高価です。
整流 (RF) は拡散モデルの有望な代替手段を提供しますが、その反転は十分に検討されていません。
線形二次レギュレータを介して導出される動的最適制御を使用した RF 反転を提案します。
結果として得られるベクトル場が修正された確率微分方程式と同等であることを証明します。
さらに、フレームワークを拡張して、Flux 用の確率的サンプラーを設計します。
当社の反転手法は、ゼロショット反転および編集における最先端のパフォーマンスを可能にし、ストロークから画像への合成およびセマンティックな画像編集において従来の研究を上回り、大規模な人間による評価によりユーザーの好みが確認されています。

要約(オリジナル)

Generative models transform random noise into images; their inversion aims to transform images back to structured noise for recovery and editing. This paper addresses two key tasks: (i) inversion and (ii) editing of a real image using stochastic equivalents of rectified flow models (such as Flux). Although Diffusion Models (DMs) have recently dominated the field of generative modeling for images, their inversion presents faithfulness and editability challenges due to nonlinearities in drift and diffusion. Existing state-of-the-art DM inversion approaches rely on training of additional parameters or test-time optimization of latent variables; both are expensive in practice. Rectified Flows (RFs) offer a promising alternative to diffusion models, yet their inversion has been underexplored. We propose RF inversion using dynamic optimal control derived via a linear quadratic regulator. We prove that the resulting vector field is equivalent to a rectified stochastic differential equation. Additionally, we extend our framework to design a stochastic sampler for Flux. Our inversion method allows for state-of-the-art performance in zero-shot inversion and editing, outperforming prior works in stroke-to-image synthesis and semantic image editing, with large-scale human evaluations confirming user preference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google