DeSRA: Detect and Delete the Artifacts of GAN-based Real-World Super-Resolution Models

要約

敵対的生成ネットワーク (GAN) を使用した画像超解像度 (SR) は、現実的な詳細を復元することに大きな成功を収めています。
ただし、GAN ベースの SR モデルは、特に実際のシナリオでは、不快で望ましくないアーティファクトを必然的に生成することで知られています。
以前の研究では、通常、トレーニング段階で追加の損失ペナルティを設定してアーティファクトを抑制しました。
これらは、トレーニング中に生成されたディストリビューション内のアーティファクト タイプに対してのみ機能します。
現実世界のシナリオに適用すると、これらの改善された方法でも推論中に明らかに迷惑なアーティファクトが生成されることがわかります。
この論文では、グラウンドトゥルースのない目に見えないテストデータで生成される GAN アーティファクトの原因と特徴を分析します。
次に、実際にこれらの SR アーティファクトを検出して削除するための新しい方法、つまり DeSRA を開発します。
具体的には、MSE-SR の結果と GAN-SR の結果から相対的な局所分散距離を測定し、上記の距離とセマンティックを意識したしきい値に基づいて問題のある領域を特定することを提案します。
アーティファクト領域を検出した後、いくつかのサンプルを使用して GAN ベースの SR モデルを改善する微調整手順を開発します。これにより、より目に見えない実際のデータ内の同様のタイプのアーティファクトを処理できるようになります。
DeSRA を装備することで、推論からアーティファクトを首尾よく排除し、SR モデルを現実世界のシナリオに適用する能力を向上させることができます。
コードは https://github.com/TencentARC/DeSRA で入手できます。

要約(オリジナル)

Image super-resolution (SR) with generative adversarial networks (GAN) has achieved great success in restoring realistic details. However, it is notorious that GAN-based SR models will inevitably produce unpleasant and undesirable artifacts, especially in practical scenarios. Previous works typically suppress artifacts with an extra loss penalty in the training phase. They only work for in-distribution artifact types generated during training. When applied in real-world scenarios, we observe that those improved methods still generate obviously annoying artifacts during inference. In this paper, we analyze the cause and characteristics of the GAN artifacts produced in unseen test data without ground-truths. We then develop a novel method, namely, DeSRA, to Detect and then Delete those SR Artifacts in practice. Specifically, we propose to measure a relative local variance distance from MSE-SR results and GAN-SR results, and locate the problematic areas based on the above distance and semantic-aware thresholds. After detecting the artifact regions, we develop a finetune procedure to improve GAN-based SR models with a few samples, so that they can deal with similar types of artifacts in more unseen real data. Equipped with our DeSRA, we can successfully eliminate artifacts from inference and improve the ability of SR models to be applied in real-world scenarios. The code will be available at https://github.com/TencentARC/DeSRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google