Restoration of the JPEG Maximum Lossy Compressed Face Images with Hourglass Block based on Early Stopping Discriminator

要約

JPEG画像を圧縮率の高い損失圧縮方式で圧縮すると、画像にブロッキング現象が発生する場合があり、画像を元の画質に戻す必要があります。
特に、認識できない圧縮画像を復元することは革新的な課題です。
したがって、この論文は、GAN ベースのネットワーク手法を使用した最大圧縮により大幅な損失を受けた JPEG 画像の復元に取り組むことを目的としています。
このネットワークのジェネレーターは U-Net アーキテクチャーに基づいており、深層の特性を保存できる新たに提示された砂時計構造を特徴としています。
さらに、ネットワークには LF 損失と HF 損失という 2 つの損失関数が組み込まれており、自然で高性能な画像を生成します。
HF Loss は、事前トレーニングされた VGG-16 ネットワークを使用し、機能を最もよく表す特定のレイヤーを使用して構成されており、高周波数領域のパフォーマンスを向上させることができます。
一方、LF Loss は、低周波数領域を処理するために使用されます。
これら 2 つの損失関数により、高周波領域と低周波領域の両方を正確に生成しながら、弁別器を欺くことができるジェネレーターによる画像の生成が容易になります。
結果は、失われた圧縮画像のブロッキング現象が除去され、認識可能なアイデンティティが生成されたことを示しています。
この研究は、画像復元パフォーマンスの点で以前の研究に比べて大幅な改善を示しています。

要約(オリジナル)

When a JPEG image is compressed using the loss compression method with a high compression rate, a blocking phenomenon can occur in the image, making it necessary to restore the image to its original quality. In particular, restoring compressed images that are unrecognizable presents an innovative challenge. Therefore, this paper aims to address the restoration of JPEG images that have suffered significant loss due to maximum compression using a GAN-based net-work method. The generator in this network is based on the U-Net architecture and features a newly presented hourglass structure that can preserve the charac-teristics of deep layers. Additionally, the network incorporates two loss functions, LF Loss and HF Loss, to generate natural and high-performance images. HF Loss uses a pretrained VGG-16 network and is configured using a specific layer that best represents features, which can enhance performance for the high-frequency region. LF Loss, on the other hand, is used to handle the low-frequency region. These two loss functions facilitate the generation of images by the generator that can deceive the discriminator while accurately generating both high and low-frequency regions. The results show that the blocking phe-nomenon in lost compressed images was removed, and recognizable identities were generated. This study represents a significant improvement over previous research in terms of image restoration performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google