Distillation-Supervised Convolutional Low-Rank Adaptation for Efficient Image Super-Resolution

要約

畳み込みニューラルネットワーク（CNNS）は、効率的な画像超解像度で広く使用されています。
ただし、CNNベースの方法では、パフォーマンスの向上は、多くの場合、より深いネットワークとより大きな機能マップを必要とするため、複雑さと推論コストが増加します。
Loraの大規模な言語モデルの微調整における成功に触発され、軽量モデルへの応用を調査し、蒸留監督の畳み込み低ランク適応（DSCLORA）を提案します。
具体的には、SPABモジュールを提案されたSCONVLBモジュールに置き換え、コンボロラ層をピクセルシャッフルブロックとその先行する畳み込み層の両方に組み込むことにより、効率的なSRネットワークスパンにコンバロラを統合します。
DSCLORAは、パラメーターの更新の低ランク分解を活用し、空間的特徴に基づく知識蒸留戦略を採用して、2次統計情報を教師モデル（事前訓練を受けたスパン）から学生モデル（私たちのもの）に転送します。
この方法は、軽量モデルのコア知識を保持し、特定の条件下で最適なソリューションの発見を促進します。
ベンチマークデータセットでの実験は、DSCloraがその効率と競争力のある画質を維持しながら、PSNRとSSIMをスパンで改善することを示しています。
特に、DSCloraは、NTIRE 2025 Efficient Super-Resolution Challengeの全体的なパフォーマンストラックで最初にランク付けされました。
私たちのコードとモデルは、https://github.com/yaozzz666/dscf-srで公開されています。

要約(オリジナル)

Convolutional neural networks (CNNs) have been widely used in efficient image super-resolution. However, for CNN-based methods, performance gains often require deeper networks and larger feature maps, which increase complexity and inference costs. Inspired by LoRA’s success in fine-tuning large language models, we explore its application to lightweight models and propose Distillation-Supervised Convolutional Low-Rank Adaptation (DSCLoRA), which improves model performance without increasing architectural complexity or inference costs. Specifically, we integrate ConvLoRA into the efficient SR network SPAN by replacing the SPAB module with the proposed SConvLB module and incorporating ConvLoRA layers into both the pixel shuffle block and its preceding convolutional layer. DSCLoRA leverages low-rank decomposition for parameter updates and employs a spatial feature affinity-based knowledge distillation strategy to transfer second-order statistical information from teacher models (pre-trained SPAN) to student models (ours). This method preserves the core knowledge of lightweight models and facilitates optimal solution discovery under certain conditions. Experiments on benchmark datasets show that DSCLoRA improves PSNR and SSIM over SPAN while maintaining its efficiency and competitive image quality. Notably, DSCLoRA ranked first in the Overall Performance Track of the NTIRE 2025 Efficient Super-Resolution Challenge. Our code and models are made publicly available at https://github.com/Yaozzz666/DSCF-SR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google