Exact Diffusion Inversion via Bi-directional Integration Approximation

要約

最近、EDICT [36] や Null-text 反転 [22] など、画像編集を可能にする DDIM 反転の不整合問題に対処するためのさまざまな方法が提案されています。
ただし、上記の方法では、かなりの計算オーバーヘッドが発生します。
この論文では、無視できる計算オーバーヘッドで正確な拡散逆変換を実行する \emph{双方向積分近似} (BDIA) と呼ばれる新しい手法を提案します。
履歴情報 $(i,\boldsymbol{z}_i)$ と $(i+1) を使用して、タイムステップ $t_i$ における次の拡散状態 $\boldsymbol{z}_{i-1}$ を推定したいとします。
、\boldsymbol{z}_{i+1})$。
まず推定ガウス ノイズ $\hat{\boldsymbol{\epsilon}}(\boldsymbol{z}_i,i)$ を取得し、次に DDIM 更新手順を 2 回適用して、次のタイムスロット $
順方向の方法では [t_i, t_{i-1}]$、逆方向の方法では前のタイムスロット $[t_i, t_{t+1}]$。
前のタイムスロットの DDIM ステップは、$\boldsymbol{z}_i$ を計算するときに以前に行われた積分近似を改良するために使用されます。
BDIA-DDIM の優れた特性は、$\boldsymbol{z}_{i-1}$ の更新式が $(\boldsymbol{z}_{i+1}, \boldsymbol{z} の線形結合であることです。
_i, \hat{\boldsymbol{\epsilon}}(\boldsymbol{z}_i,i))$。
これにより、$(\boldsymbol{z}_i, \boldsymbol{z}_{i-1})$ を前提とした $\boldsymbol{z}_{i+1}$ の正確な逆方向計算が可能になり、正確な拡散反転が得られます。
。
（往復）BDIA-DDIM が画像編集に特に効果的であることが実験によって実証されています。
さらに、私たちの実験では、テキストから画像への生成において、BDIA-DDIM が DDIM よりも著しく優れた画像サンプリング品質を生成することが示されました。
BDIA は、DDIM に加えて、他の ODE ソルバーのパフォーマンスを向上させるために適用することもできます。
私たちの研究では、BDIA を EDM サンプリング手順に適用すると、CIFAR10 を超える新しい SOTA パフォーマンスが得られることがわかりました。

要約(オリジナル)

Recently, various methods have been proposed to address the inconsistency issue of DDIM inversion to enable image editing, such as EDICT [36] and Null-text inversion [22]. However, the above methods introduce considerable computational overhead. In this paper, we propose a new technique, named \emph{bi-directional integration approximation} (BDIA), to perform exact diffusion inversion with neglible computational overhead. Suppose we would like to estimate the next diffusion state $\boldsymbol{z}_{i-1}$ at timestep $t_i$ with the historical information $(i,\boldsymbol{z}_i)$ and $(i+1,\boldsymbol{z}_{i+1})$. We first obtain the estimated Gaussian noise $\hat{\boldsymbol{\epsilon}}(\boldsymbol{z}_i,i)$, and then apply the DDIM update procedure twice for approximating the ODE integration over the next time-slot $[t_i, t_{i-1}]$ in the forward manner and the previous time-slot $[t_i, t_{t+1}]$ in the backward manner. The DDIM step for the previous time-slot is used to refine the integration approximation made earlier when computing $\boldsymbol{z}_i$. A nice property of BDIA-DDIM is that the update expression for $\boldsymbol{z}_{i-1}$ is a linear combination of $(\boldsymbol{z}_{i+1}, \boldsymbol{z}_i, \hat{\boldsymbol{\epsilon}}(\boldsymbol{z}_i,i))$. This allows for exact backward computation of $\boldsymbol{z}_{i+1}$ given $(\boldsymbol{z}_i, \boldsymbol{z}_{i-1})$, thus leading to exact diffusion inversion. It is demonstrated with experiments that (round-trip) BDIA-DDIM is particularly effective for image editing. Our experiments further show that BDIA-DDIM produces markedly better image sampling qualities than DDIM for text-to-image generation. BDIA can also be applied to improve the performance of other ODE solvers in addition to DDIM. In our work, it is found that applying BDIA to the EDM sampling procedure produces new SOTA performance over CIFAR10.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google