Equivariant plug-and-play image reconstruction

要約

プラグ アンド プレイ アルゴリズムは、デノイザーによる事前の画像の暗黙的な定義に依存する逆イメージング問題を解決するための一般的なフレームワークを構成します。
これらのアルゴリズムは、強力な事前トレーニング済みデノイザーを活用して、幅広いイメージング タスクを解決し、タスクごとにモデルをトレーニングする必要性を回避できます。
残念ながら、プラグ アンド プレイ手法は不安定な動作を示すことが多く、そのため期待される多用途性が妨げられ、再構成された画像の品質が最適ではなくなります。
この研究では、デノイザー上の変換 (回転、反射、および/または変換) の特定のグループに等分散性を強制することで、アルゴリズムの安定性と再構成の品質が大幅に向上することを示します。
私たちは、パフォーマンスと安定性の向上に対する等分散の役割を説明する理論的分析を提供します。
アルゴリズムの各反復でデノイザーの入力にランダム変換を適用し、出力に逆変換を適用するだけで、既存のデノイザーに等分散性を強制する単純なアルゴリズムを提示します。
複数のイメージング モダリティとノイズ除去ネットワークに関する実験により、等変プラグ アンド プレイ アルゴリズムは、非等変アルゴリズムと比較して再構成パフォーマンスと安定性の両方が向上することが示されています。

要約(オリジナル)

Plug-and-play algorithms constitute a popular framework for solving inverse imaging problems that rely on the implicit definition of an image prior via a denoiser. These algorithms can leverage powerful pre-trained denoisers to solve a wide range of imaging tasks, circumventing the necessity to train models on a per-task basis. Unfortunately, plug-and-play methods often show unstable behaviors, hampering their promise of versatility and leading to suboptimal quality of reconstructed images. In this work, we show that enforcing equivariance to certain groups of transformations (rotations, reflections, and/or translations) on the denoiser strongly improves the stability of the algorithm as well as its reconstruction quality. We provide a theoretical analysis that illustrates the role of equivariance on better performance and stability. We present a simple algorithm that enforces equivariance on any existing denoiser by simply applying a random transformation to the input of the denoiser and the inverse transformation to the output at each iteration of the algorithm. Experiments on multiple imaging modalities and denoising networks show that the equivariant plug-and-play algorithm improves both the reconstruction performance and the stability compared to their non-equivariant counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google