Residual Sparsity Connection Learning for Efficient Video Super-Resolution

要約

スマートフォンやウェアラブルデバイスなど、リソースが限られたデバイスにビデオスーパーレゾリューション（VSR）を導入するには、より軽量で高速なモデルが不可欠です。
この論文では、畳み込みカーネルの冗長性を減らし、パフォーマンスをわずかに低下させるコンパクトなVSRネットワークを取得するために、構造化されたプルーニングスキームであるResidual Sparsity Connection Learning（RSCL）を開発します。
ただし、残差ブロックでは、スキップ接続と残余接続のプルーニングされたフィルターインデックスが同じである必要があります。これは、プルーニングには注意が必要です。
したがって、残余ブロックの剪定制限を緩和するために、機能チャネルを保持し、重要なチャネルでのみ動作することにより、残余スパーシティ接続（RSC）スキームを設計します。
さらに、ピクセルシャッフル操作では、いくつかのフィルターをプルーニングユニットとしてグループ化することにより、特別なプルーニングスキームを設計し、プルーニング後のフィーチャチャネルスペース変換の精度を保証します。
さらに、時間的伝播を伴う隠れた状態の剪定エラー増幅を減らすために、時間的微調整（TF）を導入します。
広範な実験は、提案されたRSCLが最近の方法を定量的および定性的に大幅に上回っていることを示しています。
コードとモデルがリリースされます。

要約(オリジナル)

Lighter and faster models are crucial for the deployment of video super-resolution (VSR) on resource-limited devices, e.g., smartphones and wearable devices. In this paper, we develop Residual Sparsity Connection Learning (RSCL), a structured pruning scheme, to reduce the redundancy of convolution kernels and obtain a compact VSR network with a minor performance drop. However, residual blocks require the pruned filter indices of skip and residual connections to be the same, which is tricky for pruning. Thus, to mitigate the pruning restrictions of residual blocks, we design a Residual Sparsity Connection (RSC) scheme by preserving the feature channels and only operating on the important channels. Moreover, for the pixel-shuffle operation, we design a special pruning scheme by grouping several filters as pruning units to guarantee the accuracy of feature channel-space conversion after pruning. In addition, we introduce Temporal Finetuning (TF) to reduce the pruning error amplification of hidden states with temporal propagation. Extensive experiments show that the proposed RSCL significantly outperforms recent methods quantitatively and qualitatively. Codes and models will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google