On the Robustness of Normalizing Flows for Inverse Problems in Imaging

要約

条件付き正規化フローは、逆問題を解くための多様な画像サンプルを生成できます。
画像処理における逆問題の正規化フローのほとんどは、多様な画像をすばやく生成できる条件付きアフィン結合レイヤーを採用しています。
ただし、意図しない重大なアーティファクトがそれらの出力で観察されることがあります。
この作業では、これらのアーティファクトの起源を調査し、それらを回避するための条件を提案することにより、この重大な問題に対処します。
まず第一に、これらの問題が特定の分布外 (OOD) 条件付き入力に対する条件付きアフィン結合層の「分散の爆発」によって引き起こされることを経験的および理論的に明らかにします。
次に、ピクセルで誤ったアーティファクトを引き起こす確率が、イメージングの逆問題のマハラノビス距離ベースの OOD スコアと高度に相関していることをさらに検証しました。
最後に、私たちの調査に基づいて、分散の爆発を回避するための注意を提案し、それに基づいて、生成されたフローのロバスト性を促進するために、正規化フローでアフィン結合層を修正された有理二次スプライン結合層に置き換える簡単な改善策を提案します。
画像サンプル。
私たちの実験結果は、提案された方法が、パフォーマンスを損なうことなく、超解像度空間生成と低照度画像強調のためのフローの正規化で発生する重大なアーティファクトを効果的に抑制したことを示しました。

要約(オリジナル)

Conditional normalizing flows can generate diverse image samples for solving inverse problems. Most normalizing flows for inverse problems in imaging employ the conditional affine coupling layer that can generate diverse images quickly. However, unintended severe artifacts are occasionally observed in the output of them. In this work, we address this critical issue by investigating the origins of these artifacts and proposing the conditions to avoid them. First of all, we empirically and theoretically reveal that these problems are caused by “exploding variance” in the conditional affine coupling layer for certain out-of-distribution (OOD) conditional inputs. Then, we further validated that the probability of causing erroneous artifacts in pixels is highly correlated with a Mahalanobis distance-based OOD score for inverse problems in imaging. Lastly, based on our investigations, we propose a remark to avoid exploding variance and then based on it, we suggest a simple remedy that substitutes the affine coupling layers with the modified rational quadratic spline coupling layers in normalizing flows, to encourage the robustness of generated image samples. Our experimental results demonstrated that our suggested methods effectively suppressed critical artifacts occurring in normalizing flows for super-resolution space generation and low-light image enhancement without compromising performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google