Towards Architecture-Agnostic Untrained Network Priors for Image Reconstruction with Frequency Regularization

要約

以前の深層画像からインスピレーションを得たトレーニングされていないネットワークは、トレーニング データを必要とせずに、ノイズの多い測定や部分的な測定から高品質の画像を復元する有望な機能を示しています。
彼らの成功は、適切なネットワーク アーキテクチャによって引き起こされる暗黙的な正則化として機能するスペクトル バイアスに広く起因すると考えられています。
ただし、このようなネットワークベースの事前分布の適用には、多くの場合、余分なアーキテクチャ上の決定、過剰適合のリスク、最適化の遅さが伴い、これらすべてが実用性を妨げます。
この研究では、ネットワーク事前分布に対するより直接的な周波数制御のための効率的でアーキテクチャに依存しない方法を提案します。1) ホワイト ノイズ入力の帯域幅を制限する、2) 補間ベースのアップサンプラーの帯域幅を制御する、3)
層のリプシッツ定数を正規化します。
コードを 1 行追加するだけでも、パフォーマンスの低いアーキテクチャでのオーバーフィッティングの問題が軽減され、構成が異なるにもかかわらず、パフォーマンスの高いアーキテクチャとのパフォーマンスのギャップを大幅に埋めることができ、アーキテクチャのチューニングの必要性が軽減されることを示します。
これにより、よりコンパクトなモデルを使用して、より高い効率で大型モデルと同等またはそれ以上のパフォーマンスを達成することが可能になります。
当社の正規化ネットワーク事前分布は、MRI 再構成および画像修復タスクにおいて現在の教師ありおよび自己教師ありの方法と比べて優れており、より強力なゼロショット ベースライン再構成器として機能します。
私たちのコードは公開されます。

要約(オリジナル)

Untrained networks inspired by deep image prior have shown promising capabilities in recovering a high-quality image from noisy or partial measurements, without requiring training data. Their success has been widely attributed to the spectral bias acting as an implicit regularization induced by suitable network architectures. However, applications of such network-based priors often entail superfluous architectural decisions, overfitting risks, and slow optimization, all of which hinder their practicality. In this work, we propose efficient, architecture-agnostic methods for a more direct frequency control over the network priors: 1) constraining the bandwidth of the white-noise input, 2) controlling the bandwidth of the interpolation-based upsamplers, and 3) regularizing the Lipschitz constants of the layers. We show that even with just one extra line of code, the overfitting issues in underperforming architectures can be alleviated such that their performance gaps with the high-performing counterparts can be largely closed despite their distinct configurations, mitigating the need for architecture tuning. This then makes it possible to employ a more compact model to achieve similar or superior performance to larger models with greater efficiency. Our regularized network priors compare favorably with current supervised and self-supervised methods on MRI reconstruction and image inpainting tasks, serving as a stronger zero-shot baseline reconstructor. Our code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google