Semi-Cycled Generative Adversarial Networks for Real-World Face Super-Resolution

要約

現実世界の顔の超解像 (SR) は、非常に不適切な画像復元タスクです。
完全にサイクル化された Cycle-GAN アーキテクチャは、面 SR で有望なパフォーマンスを達成するために広く採用されていますが、同じ劣化ブランチへの共同参加はドメインギャップが大きいため、最終的なパフォーマンスに影響を与えるため、現実世界のシナリオで困難なケースではアーティファクトを生成する傾向があります。
実世界とジェネレーターによって取得された合成 LR の間。
現実世界の顔 SR に対する GAN の強力な生成機能をより有効に活用するために、このホワイト ペーパーでは、2 つのプロセスが同じ復元ブランチを共有する一方で、順方向および逆方向のサイクル一貫性のある再構成プロセスにそれぞれ 2 つの独立した劣化ブランチを確立します。
私たちの半循環型敵対的生成ネットワーク (SCGAN) は、現実世界の LR 顔画像と合成 LR 顔画像の間のドメイン ギャップの悪影響を軽減し、正則化された共有復元ブランチによって正確で堅牢な顔 SR パフォーマンスを達成することができます。
順方向と逆方向の両方のサイクル一貫性のある学習プロセスによって。
2 つの合成データセットと 2 つの現実世界のデータセットに関する実験は、SCGAN が、現実世界の顔 SR の顔の構造/詳細と定量的指標を回復する最先端の方法よりも優れていることを示しています。
コードは https://github.com/HaoHou-98/SCGAN で公開されます。

要約(オリジナル)

Real-world face super-resolution (SR) is a highly ill-posed image restoration task. The fully-cycled Cycle-GAN architecture is widely employed to achieve promising performance on face SR, but prone to produce artifacts upon challenging cases in real-world scenarios, since joint participation in the same degradation branch will impact final performance due to huge domain gap between real-world and synthetic LR ones obtained by generators. To better exploit the powerful generative capability of GAN for real-world face SR, in this paper, we establish two independent degradation branches in the forward and backward cycle-consistent reconstruction processes, respectively, while the two processes share the same restoration branch. Our Semi-Cycled Generative Adversarial Networks (SCGAN) is able to alleviate the adverse effects of the domain gap between the real-world LR face images and the synthetic LR ones, and to achieve accurate and robust face SR performance by the shared restoration branch regularized by both the forward and backward cycle-consistent learning processes. Experiments on two synthetic and two real-world datasets demonstrate that, our SCGAN outperforms the state-of-the-art methods on recovering the face structures/details and quantitative metrics for real-world face SR. The code will be publicly released at https://github.com/HaoHou-98/SCGAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google