EasyInv: Toward Fast and Better DDIM Inversion

要約

このペーパーでは、従来の反復最適化手法に固有の非効率性とパフォーマンスの制限に対処することで、DDIM 逆変換の分野を大幅に進歩させる、簡単でありながら新しいアプローチである EasyInv を紹介します。
EasyInv の中核となるのは、反転ノイズを近似するための洗練された戦略であり、これは反転プロセスの精度と信頼性を向上させるために極めて重要です。
EasyInv は、元の画像に関する豊富な情報をカプセル化する初期の潜在状態を優先することにより、ノイズ項目の反復的な調整を回避します。
代わりに、前のタイム ステップからの潜在状態と現在の状態の系統的な集約を導入し、初期の潜在状態の影響を効果的に増大させ、ノイズの影響を軽減します。
EasyInv が、特にモデルの精度が限られている、または計算リソースが不足している状況下で、従来の DDIM Inversion アプローチと同等またはそれを超える結果を提供できることを示します。
同時に、EasyInv は、既製の反復最適化手法と比較して、推論効率に関して約 3 倍の強化を提供します。

要約(オリジナル)

This paper introduces EasyInv, an easy yet novel approach that significantly advances the field of DDIM Inversion by addressing the inherent inefficiencies and performance limitations of traditional iterative optimization methods. At the core of our EasyInv is a refined strategy for approximating inversion noise, which is pivotal for enhancing the accuracy and reliability of the inversion process. By prioritizing the initial latent state, which encapsulates rich information about the original images, EasyInv steers clear of the iterative refinement of noise items. Instead, we introduce a methodical aggregation of the latent state from the preceding time step with the current state, effectively increasing the influence of the initial latent state and mitigating the impact of noise. We illustrate that EasyInv is capable of delivering results that are either on par with or exceed those of the conventional DDIM Inversion approach, especially under conditions where the model’s precision is limited or computational resources are scarce. Concurrently, our EasyInv offers an approximate threefold enhancement regarding inference efficiency over off-the-shelf iterative optimization techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google