JPEG Quantized Coefficient Recovery via DCT Domain Spatial-Frequential Transformer

要約

JPEG圧縮は、効果的なビットレート削減のために離散コサイン変換（DCT）係数の量子化を採用しているが、量子化によって重要な画像の詳細が著しく失われる可能性がある。周波数領域で圧縮されたJPEG画像を復元することは、ピクセル領域で確立された多数の復元技術を補完するものとして、最近関心が高まっています。しかし、既存のDCT領域の手法は、一般的に、広範囲の圧縮品質係数を扱う際の有効性が限定的であったり、スパース量子化された係数や異なる色空間にまたがる成分を復元するには不十分であったりする。これらの課題に対処するために、我々はJPEG量子化係数復元用のDCTドメイン空間周波数変換器、すなわちDCTransformerを提案する。具体的には、配置されたDCT係数内の空間的相関と周波数的相関の両方を捕捉するために、デュアルブランチアーキテクチャを設計する。さらに、量子化行列埋め込み（quantization matrix embedding）の操作を組み込むことで、我々の単一モデルで幅広い品質係数を効果的に扱うことができるようにし、また、異なるサイズのルミナンスとクロミナンス成分を整列させるために統一された特徴マップを生成するルミナンス・クロミナンス整列ヘッド（luminance-chrominance alignment head）を組み込む。我々の提案するDCT変換器は、我々の広範な実験によって実証されたように、現在の最先端のJPEGアーチファクト除去技術を凌駕する。

要約(オリジナル)

JPEG compression adopts the quantization of Discrete Cosine Transform (DCT) coefficients for effective bit-rate reduction, whilst the quantization could lead to a significant loss of important image details. Recovering compressed JPEG images in the frequency domain has recently garnered increasing interest, complementing the multitude of restoration techniques established in the pixel domain. However, existing DCT domain methods typically suffer from limited effectiveness in handling a wide range of compression quality factors or fall short in recovering sparse quantized coefficients and the components across different colorspaces. To address these challenges, we propose a DCT domain spatial-frequential Transformer, namely DCTransformer, for JPEG quantized coefficient recovery. Specifically, a dual-branch architecture is designed to capture both spatial and frequential correlations within the collocated DCT coefficients. Moreover, we incorporate the operation of quantization matrix embedding, which effectively allows our single model to handle a wide range of quality factors, and a luminance-chrominance alignment head that produces a unified feature map to align different-sized luminance and chrominance components. Our proposed DCTransformer outperforms the current state-of-the-art JPEG artifact removal techniques, as demonstrated by our extensive experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL