CODE: Confident Ordinary Differential Editing

要約

画像生成の調整により、シームレスな編集とフォトリアリスティックな画像の作成が容易になります。
ただし、ノイズの多い画像や配信外 (OoD) 画像の調整は、特に入力に対する忠実度と出力のリアリズムのバランスにおいて、重大な課題を引き起こします。
OoD ガイダンス画像を効果的に処理する画像合成の新しいアプローチである Confident Ordinary Differential Editing (CODE) を紹介します。
CODE は、生成事前分布として拡散モデルを利用し、確率フローの常微分方程式 (ODE) の軌跡に沿ったスコアベースの更新を通じて画像を強化します。
この方法では、タスク固有のトレーニング、手作りのモジュール、およびコンディショニング イメージに影響を与える破損に関する仮定は必要ありません。
私たちの方法はあらゆる拡散モデルと互換性があります。
条件付き画像生成とブラインド画像復元の交差点に位置する CODE は、事前にトレーニングされた生成モデルのみに依存して、完全にブラインド方式で動作します。
私たちの方法では、ブラインド復元に対する代替アプローチを導入しています。CODE は、根底にある破損に関する仮定に基づいて特定のグラウンド トゥルース画像をターゲットとするのではなく、忠実度を維持しながら入力画像の可能性を高めることを目指しています。
これにより、入力の周囲に最も可能性の高い分布内イメージが生成されます。
私たちの貢献は 2 つあります。
まず、CODE では ODE に基づく新しい編集方法が導入されており、SDE ベースの対応物と比較して制御性、リアリズム、忠実性が強化されています。
2 番目に、信頼区間ベースのクリッピング手法を導入します。これは、特定のピクセルまたは情報を無視できるようにすることで CODE の効率を向上させ、盲目的な方法で復元プロセスを強化します。
実験結果は、特に深刻な劣化や OoD 入力を伴うシナリオにおいて、既存の方法よりも CODE が有効であることを示しています。

要約(オリジナル)

Conditioning image generation facilitates seamless editing and the creation of photorealistic images. However, conditioning on noisy or Out-of-Distribution (OoD) images poses significant challenges, particularly in balancing fidelity to the input and realism of the output. We introduce Confident Ordinary Differential Editing (CODE), a novel approach for image synthesis that effectively handles OoD guidance images. Utilizing a diffusion model as a generative prior, CODE enhances images through score-based updates along the probability-flow Ordinary Differential Equation (ODE) trajectory. This method requires no task-specific training, no handcrafted modules, and no assumptions regarding the corruptions affecting the conditioning image. Our method is compatible with any diffusion model. Positioned at the intersection of conditional image generation and blind image restoration, CODE operates in a fully blind manner, relying solely on a pre-trained generative model. Our method introduces an alternative approach to blind restoration: instead of targeting a specific ground truth image based on assumptions about the underlying corruption, CODE aims to increase the likelihood of the input image while maintaining fidelity. This results in the most probable in-distribution image around the input. Our contributions are twofold. First, CODE introduces a novel editing method based on ODE, providing enhanced control, realism, and fidelity compared to its SDE-based counterpart. Second, we introduce a confidence interval-based clipping method, which improves CODE’s effectiveness by allowing it to disregard certain pixels or information, thus enhancing the restoration process in a blind manner. Experimental results demonstrate CODE’s effectiveness over existing methods, particularly in scenarios involving severe degradation or OoD inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google