Analysis of Deep Image Prior and Exploiting Self-Guidance for Image Reconstruction

要約

不完全または破損した測定から高品質の画像を復元できるディープ イメージ プリア (DIP) の機能により、画像復元や磁気共鳴画像法 (MRI) などの医療画像処理における逆問題で人気が高まっています。
ただし、従来の DIP は、深刻なオーバーフィッティングとスペクトル バイアスの影響を受けます。この研究では、最初に、さまざまなアーキテクチャのカーネル領域における基礎となるネットワークのトレーニング ダイナミクスを分析することにより、DIP がアンダーサンプリングされた画像測定値から情報をどのように回復するかについての分析を提供します。この研究では、
現在の研究では、参照画像をネットワーク入力として組み込むと、ランダム入力を使用する場合と比較して、画像再構成における DIP のパフォーマンスが向上する可能性があることが示唆されています。
ただし、適切な参照画像を取得するには監視が必要であり、実際的な困難が生じます。
この障害を克服するために、トレーニング データの必要性を排除しながら、ネットワークの重みと入力の両方を同時に最適化する自己駆動型の再構成プロセスをさらに導入します。
私たちの方法には、ネットワーク入力と再構成画像の両方のロバストで安定した共同推定を可能にする新しいデノイザー正則化項が組み込まれています。私たちは、MR画像再構成のパフォーマンスの点で、私たちのセルフガイド法が元のDIPと最新の教師付き方法の両方を上回り、優れていることを実証します
画像修復のための以前の DIP ベースのスキーム。

要約(オリジナル)

The ability of deep image prior (DIP) to recover high-quality images from incomplete or corrupted measurements has made it popular in inverse problems in image restoration and medical imaging including magnetic resonance imaging (MRI). However, conventional DIP suffers from severe overfitting and spectral bias effects.In this work, we first provide an analysis of how DIP recovers information from undersampled imaging measurements by analyzing the training dynamics of the underlying networks in the kernel regime for different architectures.This study sheds light on important underlying properties for DIP-based recovery.Current research suggests that incorporating a reference image as network input can enhance DIP’s performance in image reconstruction compared to using random inputs. However, obtaining suitable reference images requires supervision, and raises practical difficulties. In an attempt to overcome this obstacle, we further introduce a self-driven reconstruction process that concurrently optimizes both the network weights and the input while eliminating the need for training data. Our method incorporates a novel denoiser regularization term which enables robust and stable joint estimation of both the network input and reconstructed image.We demonstrate that our self-guided method surpasses both the original DIP and modern supervised methods in terms of MR image reconstruction performance and outperforms previous DIP-based schemes for image inpainting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google