FIPER: Generalizable Factorized Features for Robust Low-Level Vision Models

要約

この作業では、低レベルのビジョンタスクに対して、単一画像の超解像度（SISR）と画像圧縮でテストする統合された因数分解機能と呼ばれる統合表現を使用して提案します。
これらのタスク間の共有原則に動機付けられているため、SISRの解像度を強化するか、画像圧縮の圧縮データを再構築するかにかかわらず、細かい画像の詳細を回復および保存する必要があります。
主にネットワークアーキテクチャに焦点を当てた以前の方法とは異なり、提案されているアプローチは、基礎コエフィーの分解と、構造コンポーネントとマルチスケールの視覚的特徴を画像でキャプチャするための周波数の明示的な定式化を利用して、両方のタスクのコア課題に対処します。
単純な機能マップからの以前のモデルの表現を、幅広い一般化可能性の可能性を検証するために、因数分解機能に置き換えます。
さらに、マルチフレーム圧縮と超解像度に関する共有構造を統合する、因数分解された特徴の融合可能な塩基特性を活用することにより、パイプラインをさらに最適化します。
広範な実験では、統一された表現が最先端のパフォーマンスを提供し、以前のSOTAと比較して画像圧縮の9.35％のBDレート減少のベースラインでPSNRで204.4％の平均相対改善を達成することが示されています。

要約(オリジナル)

In this work, we propose using a unified representation, termed Factorized Features, for low-level vision tasks, where we test on Single Image Super-Resolution (SISR) and Image Compression. Motivated by the shared principles between these tasks, they require recovering and preserving fine image details, whether by enhancing resolution for SISR or reconstructing compressed data for Image Compression. Unlike previous methods that mainly focus on network architecture, our proposed approach utilizes a basis-coefficient decomposition as well as an explicit formulation of frequencies to capture structural components and multi-scale visual features in images, which addresses the core challenges of both tasks. We replace the representation of prior models from simple feature maps with Factorized Features to validate the potential for broad generalizability. In addition, we further optimize the pipelines by leveraging the mergeable-basis property of our Factorized Features, which consolidates shared structures on multi-frame compression and super-resolution. Extensive experiments show that our unified representation delivers state-of-the-art performance, achieving an average relative improvement of 204.4% in PSNR over the baseline in Super-Resolution (SR) and 9.35% BD-rate reduction in Image Compression compared to the previous SOTA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google