Sensitivity Decouple Learning for Image Compression Artifacts Reduction

要約

深層学習技術の恩恵により、最近の研究では画像圧縮アーティファクトの削減において大きな進歩が見られました。
パフォーマンスが向上したにもかかわらず、一般的な方法は、圧縮画像から元の画像へのマッピングを学習することだけに重点を置き、指定された圧縮画像の固有の属性を無視するため、下流の解析タスクのパフォーマンスに大きな悪影響を及ぼします。
これらの方法とは異なり、我々は、アーティファクトを低減するために、固有の属性を 2 つの相補的な機能、つまり、トレーニング中に高レベルの意味論的表現を正規化するための圧縮に依存しない機能と、圧縮度を認識するための圧縮に依存する機能に分離することを提案します。
。
これを達成するために、まず敵対的トレーニングを使用して圧縮された元のエンコードされた特徴を正規化し、高レベルのセマンティクスを保持します。次に、圧縮に敏感な特徴のための圧縮品質を意識した特徴エンコーダーを開発します。
これらの二重の補完的な機能に基づいて、これらの認識機能をデコード段階での変換ガイダンスとして利用するためのデュアル認識ガイダンス ネットワーク (DAGN) を提案します。
私たちが提案する DAGN では、圧縮に依存しない特徴をアーティファクト削減ベースラインに融合することで、圧縮に依存しない特徴の一貫性を維持する機能間融合モジュールを開発します。
私たちの方法は、BSD500 で平均 2.06 dB の PSNR ゲインを達成し、最先端の方法を上回り、BSD500 で 1 つの画像を処理するのに必要な時間はわずか 29.7 ミリ秒です。
さらに、LIVE1 および LIU4K での実験結果は、定量的指標、視覚的品質、および下流のマシン ビジョン タスクの観点から、提案された方法の効率、有効性、および優位性も示しています。

要約(オリジナル)

With the benefit of deep learning techniques, recent researches have made significant progress in image compression artifacts reduction. Despite their improved performances, prevailing methods only focus on learning a mapping from the compressed image to the original one but ignore the intrinsic attributes of the given compressed images, which greatly harms the performance of downstream parsing tasks. Different from these methods, we propose to decouple the intrinsic attributes into two complementary features for artifacts reduction,ie, the compression-insensitive features to regularize the high-level semantic representations during training and the compression-sensitive features to be aware of the compression degree. To achieve this, we first employ adversarial training to regularize the compressed and original encoded features for retaining high-level semantics, and we then develop the compression quality-aware feature encoder for compression-sensitive features. Based on these dual complementary features, we propose a Dual Awareness Guidance Network (DAGN) to utilize these awareness features as transformation guidance during the decoding phase. In our proposed DAGN, we develop a cross-feature fusion module to maintain the consistency of compression-insensitive features by fusing compression-insensitive features into the artifacts reduction baseline. Our method achieves an average 2.06 dB PSNR gains on BSD500, outperforming state-of-the-art methods, and only requires 29.7 ms to process one image on BSD500. Besides, the experimental results on LIVE1 and LIU4K also demonstrate the efficiency, effectiveness, and superiority of the proposed method in terms of quantitative metrics, visual quality, and downstream machine vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google