Patch-Based Diffusion Models Beat Whole-Image Models for Mismatched Distribution Inverse Problems

要約

拡散モデルは、強力な画像事前分布を学習できるため、逆問題の解決において優れた成功を収めてきましたが、既存のアプローチでは、テスト データセットと同じ分布に由来する画像の大規模なトレーニング データセットが必要です。
トレーニング分布とテスト分布が一致しない場合、事前分布が正しくないため、再構成された画像にアーティファクトや幻覚が発生する可能性があります。
この研究では、既知のトレーニング配布が最初に提供される場合の配布外 (OOD) 問題を系統的に研究します。
まず、未知のテスト分布から取得された単一の測定値のみが利用可能な設定を検討します。
次に、テスト分布に属するデータの非常に小さなサンプルが利用可能な設定を研究します。そして、私たちの目標は依然としてテスト分布から得られた測定値から画像を再構築することです。
どちらの設定でも、パッチのみから画像分布を学習するパッチベースの拡散事前処理を使用します。
さらに、最初の設定には、ネットワーク出力が測定との一貫性を維持するのに役立つ自己監視損失が含まれています。
広範な実験により、どちらの設定でも、パッチベースの手法は画像全体モデルを上回る高品質の画像再構成を取得でき、大規模な分布内トレーニング データセットにアクセスできる手法と競合できることが示されています。
さらに、全体画像モデルが記憶や過学習を起こしやすく、再構成時にアーティファクトが発生する一方で、パッチベースのモデルがこれらの問題を解決できることを示します。

要約(オリジナル)

Diffusion models have achieved excellent success in solving inverse problems due to their ability to learn strong image priors, but existing approaches require a large training dataset of images that should come from the same distribution as the test dataset. When the training and test distributions are mismatched, artifacts and hallucinations can occur in reconstructed images due to the incorrect priors. In this work, we systematically study out of distribution (OOD) problems where a known training distribution is first provided. We first study the setting where only a single measurement obtained from the unknown test distribution is available. Next we study the setting where a very small sample of data belonging to the test distribution is available, and our goal is still to reconstruct an image from a measurement that came from the test distribution. In both settings, we use a patch-based diffusion prior that learns the image distribution solely from patches. Furthermore, in the first setting, we include a self-supervised loss that helps the network output maintain consistency with the measurement. Extensive experiments show that in both settings, the patch-based method can obtain high quality image reconstructions that can outperform whole-image models and can compete with methods that have access to large in-distribution training datasets. Furthermore, we show how whole-image models are prone to memorization and overfitting, leading to artifacts in the reconstructions, while a patch-based model can resolve these issues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google