FIPER: Generalizable Factorized Fields for Joint Image Compression and Super-Resolution

要約

この研究では、これら 2 つのタスク間の共有原則に基づいて、**因数分解フィールド** と呼ばれる、超解像度 (SR) と画像圧縮の統一表現を提案します。
SISR と画像圧縮の両方では、解像度を向上させるか圧縮データを再構築するかにかかわらず、画像の細部を復元して保存する必要があります。
主にネットワーク アーキテクチャに焦点を当てた以前の方法とは異なり、私たちが提案するアプローチは、基底係数分解を利用して画像内のマルチスケールの視覚的特徴と構造コンポーネントを明示的にキャプチャし、両方のタスクの中核的な課題に対処します。
まず、一般化可能な因数分解フィールドの係数バックボーンとベーシス スウィン変換器を含む SR モデルを導出します。
次に、これら 2 つのタスクをさらに統合するために、トレーニング済み SR モジュールの強力な情報回復機能を圧縮パイプラインの事前処理として活用し、圧縮効率と詳細再構築の両方を向上させます。
さらに、共有構造を統合するマージベースの圧縮ブランチを導入し、圧縮プロセスをさらに最適化します。
広範な実験により、当社の統一表現が最先端のパフォーマンスを実現し、超解像度 (SR) でベースラインと比較して PSNR で平均 204.4% の相対的改善を達成し、画像圧縮で 9.35% の BD レート削減を達成したことが示されています。
以前のSOTA。

要約(オリジナル)

In this work, we propose a unified representation for Super-Resolution (SR) and Image Compression, termed **Factorized Fields**, motivated by the shared principles between these two tasks. Both SISR and Image Compression require recovering and preserving fine image details–whether by enhancing resolution or reconstructing compressed data. Unlike previous methods that mainly focus on network architecture, our proposed approach utilizes a basis-coefficient decomposition to explicitly capture multi-scale visual features and structural components in images, addressing the core challenges of both tasks. We first derive our SR model, which includes a Coefficient Backbone and Basis Swin Transformer for generalizable Factorized Fields. Then, to further unify these two tasks, we leverage the strong information-recovery capabilities of the trained SR modules as priors in the compression pipeline, improving both compression efficiency and detail reconstruction. Additionally, we introduce a merged-basis compression branch that consolidates shared structures, further optimizing the compression process. Extensive experiments show that our unified representation delivers state-of-the-art performance, achieving an average relative improvement of 204.4% in PSNR over the baseline in Super-Resolution (SR) and 9.35% BD-rate reduction in Image Compression compared to the previous SOTA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google