PnP-Flow: Plug-and-Play Image Restoration with Flow Matching

要約

本稿では、画像逆問題を解くためのアルゴリズムであるプラグアンドプレイ（PnP）フローマッチングを紹介する。PnP法は、最適化スキームに統合することで、事前に訓練されたノイズ除去器（多くの場合、ディープニューラルネットワーク）の強みを活用する。PnP法は、画像処理における様々な逆問題で最先端の性能を達成する一方で、インペインティングのような生成的なタスクでは固有の限界に直面する。一方、フローマッチングのような生成モデルは、画像サンプリングの境界を押し広げたが、画像復元に効率的に利用するための明確な方法を欠いている。我々は、事前に訓練されたFMモデルを用いて時間依存のノイズ除去器を定義することで、PnPフレームワークとフローマッチング（FM）を組み合わせることを提案する。我々のアルゴリズムは、データ忠実度項に対する勾配降下ステップ、学習されたFMパスへの再投影、そしてノイズ除去を交互に行う。特筆すべきは、ODEやトレース計算によるバックプロパゲーションを回避するため、我々の手法は計算効率が高く、メモリフレンドリーであることである。我々は、ノイズ除去、超解像、デブラーリング、およびインペインティングタスクにおける性能を評価し、既存のPnPアルゴリズムやフローマッチングに基づく最先端の手法と比較して、優れた結果を実証する。

要約(オリジナル)

In this paper, we introduce Plug-and-Play (PnP) Flow Matching, an algorithm for solving imaging inverse problems. PnP methods leverage the strength of pre-trained denoisers, often deep neural networks, by integrating them in optimization schemes. While they achieve state-of-the-art performance on various inverse problems in imaging, PnP approaches face inherent limitations on more generative tasks like inpainting. On the other hand, generative models such as Flow Matching pushed the boundary in image sampling yet lack a clear method for efficient use in image restoration. We propose to combine the PnP framework with Flow Matching (FM) by defining a time-dependent denoiser using a pre-trained FM model. Our algorithm alternates between gradient descent steps on the data-fidelity term, reprojections onto the learned FM path, and denoising. Notably, our method is computationally efficient and memory-friendly, as it avoids backpropagation through ODEs and trace computations. We evaluate its performance on denoising, super-resolution, deblurring, and inpainting tasks, demonstrating superior results compared to existing PnP algorithms and Flow Matching based state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL