PromptCIR: Blind Compressed Image Restoration with Prompt Learning

要約

ブラインド圧縮画像復元 (CIR) は、その実用的な応用により大きな注目を集めています。
特に JPEG コーデックで、未知の品質要因によって引き起こされる圧縮アーティファクトを軽減することを目的としています。
ブラインド CIR に関する既存の研究では、ネットワークが圧縮された画像を復元しやすくするために、品質係数予測ネットワークの支援を求めることがよくあります。
ただし、予測される品質係数の数値には空間情報が不足しているため、画像コンテンツに対するネットワークの適応性が妨げられます。
プロンプト学習ベースの画像復元に関する最近の研究では、プロンプトがさまざまな劣化の種類や程度にわたって一般化する可能性があることが示されています。
これをきっかけに、さまざまな圧縮レベルから効果的に画像を復元できる、PromptCIR と呼ばれる、プロンプト学習ベースの圧縮画像復元ネットワークを設計することにしました。
具体的には、PromptCIR はプロンプトを利用して圧縮情報を暗黙的にエンコードし、プロンプトが画像の特徴から生成されたソフト ウェイトと直接対話するため、復元プロセスに対して動的なコンテンツと歪みを考慮したガイダンスを提供します。
軽量プロンプトにより、パラメータのオーバーヘッドを最小限に抑えながら、メソッドをさまざまな圧縮レベルに適応させることができます。
全体として、PromptCIR はダイナミック プロンプト モジュールを備えた強力なトランスベースのバックボーンを活用して、ブラインド CIR タスクを適切に処理し、ブラインド圧縮画像強化トラックの NTIRE 2024 チャレンジで 1 位を獲得しました。
広範な実験により、私たちが提案した PromptCIR の有効性が検証されました。
コードは https://github.com/lbc12345/PromptCIR-NTIRE24 で入手できます。

要約(オリジナル)

Blind Compressed Image Restoration (CIR) has garnered significant attention due to its practical applications. It aims to mitigate compression artifacts caused by unknown quality factors, particularly with JPEG codecs. Existing works on blind CIR often seek assistance from a quality factor prediction network to facilitate their network to restore compressed images. However, the predicted numerical quality factor lacks spatial information, preventing network adaptability toward image contents. Recent studies in prompt-learning-based image restoration have showcased the potential of prompts to generalize across varied degradation types and degrees. This motivated us to design a prompt-learning-based compressed image restoration network, dubbed PromptCIR, which can effectively restore images from various compress levels. Specifically, PromptCIR exploits prompts to encode compression information implicitly, where prompts directly interact with soft weights generated from image features, thus providing dynamic content-aware and distortion-aware guidance for the restoration process. The light-weight prompts enable our method to adapt to different compression levels, while introducing minimal parameter overhead. Overall, PromptCIR leverages the powerful transformer-based backbone with the dynamic prompt module to proficiently handle blind CIR tasks, winning first place in the NTIRE 2024 challenge of blind compressed image enhancement track. Extensive experiments have validated the effectiveness of our proposed PromptCIR. The code is available at https://github.com/lbc12345/PromptCIR-NTIRE24.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google