Learning Distortion Invariant Representation for Image Restoration from A Causality Perspective

要約

タイトル：因果関係の観点から画像復元のための歪み不変表現の学習
要約：
– 最近、深層ニューラルネットワーク（DNN）の画像復元の分野で大きな進歩を目撃しているが、重要な制限は、異なる程度や種類の現実世界の劣化に対して汎用的に適用できないことです。
– 本研究では、因果関係の観点から画像復元のための新しいトレーニングストラテジーを提案し、DNNの未知の劣化に対する一般化能力を向上させることを初めて試みました。
– 我々の手法である「Distortion Invariant representation Learning (DIL)」は、各歪みタイプと度数を1つの特定の共変量として扱い、各劣化の有害な共変効果を除去することにより歪み不変表現を学習します。
– 我々は、因果関係の背後の基準でDILを導出し、異なる歪みの介入を最適化の観点からモデリングすることで、各歪みの介入を対応する歪んだ画像に基づいて仮想モデル更新で具現化し、メタ学習の観点からそれらを除去します。
– 多数の実験により、我々のDILが未知の歪みタイプと度数に対して一般化能力を向上させることが実証されました。我々のコードはhttps://github.com/lixinustc/Causal-IR-DILで利用可能です。

要約(オリジナル)

In recent years, we have witnessed the great advancement of Deep neural networks (DNNs) in image restoration. However, a critical limitation is that they cannot generalize well to real-world degradations with different degrees or types. In this paper, we are the first to propose a novel training strategy for image restoration from the causality perspective, to improve the generalization ability of DNNs for unknown degradations. Our method, termed Distortion Invariant representation Learning (DIL), treats each distortion type and degree as one specific confounder, and learns the distortion-invariant representation by eliminating the harmful confounding effect of each degradation. We derive our DIL with the back-door criterion in causality by modeling the interventions of different distortions from the optimization perspective. Particularly, we introduce counterfactual distortion augmentation to simulate the virtual distortion types and degrees as the confounders. Then, we instantiate the intervention of each distortion with a virtual model updating based on corresponding distorted images, and eliminate them from the meta-learning perspective. Extensive experiments demonstrate the effectiveness of our DIL on the generalization capability for unseen distortion types and degrees. Our code will be available at https://github.com/lixinustc/Causal-IR-DIL.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI