Data Upcycling Knowledge Distillation for Image Super-Resolution

要約

知識蒸留 (KD) は、ディープ ラーニング モデルを圧縮するための、挑戦的だが有望な技術として登場しました。これは、熟練した計算集約型の教師モデルからコンパクトな学生モデルへの広範な学習表現の送信を特徴としています。
ただし、KD を使用して単一画像超解像度 (SISR) のモデルを圧縮しようと試みた研究はほんの一握りであり、学生モデルの強化に対する効果はわずかなままです。
本稿では、効率的なデータ活用の観点からのアプローチ、すなわち、教師のインプットから得られるアップサイクルされた領域内データを介して提供される事前知識による教師による生徒モデルを容易にするデータアップサイクル知識蒸留（DUKD）を提案します。
このアップサイクル プロセスは、2 つの効率的な画像ズーム操作と、SISR の KD フィールドにラベル一貫性正則化を導入し、スチューデント モデルの一般化を大幅に高める可逆データ拡張を通じて実現されます。
DUKD はその多用途性により、幅広い教師と生徒のアーキテクチャに適用できます。
さまざまなベンチマークにわたる包括的な実験により、ベースライン手法と比較して PSNR が最大 0.5 dB 増加し、パラメータが 67% 削減されたことによって例示されるように、私たちが提案する DUKD 手法が従来技術を大幅に上回っていることが実証され、RCAN モデルのパフォーマンスは RCAN 教師モデルと同等に保たれています。
。

要約(オリジナル)

Knowledge distillation (KD) emerges as a challenging yet promising technique for compressing deep learning models, characterized by the transmission of extensive learning representations from proficient and computationally intensive teacher models to compact student models. However, only a handful of studies have endeavored to compress the models for single image super-resolution (SISR) through KD, with their effects on student model enhancement remaining marginal. In this paper, we put forth an approach from the perspective of efficient data utilization, namely, the Data Upcycling Knowledge Distillation (DUKD) which facilitates the student model by the prior knowledge teacher provided via upcycled in-domain data derived from their inputs. This upcycling process is realized through two efficient image zooming operations and invertible data augmentations which introduce the label consistency regularization to the field of KD for SISR and substantially boosts student model’s generalization. The DUKD, due to its versatility, can be applied across a broad spectrum of teacher-student architectures. Comprehensive experiments across diverse benchmarks demonstrate that our proposed DUKD method significantly outperforms previous art, exemplified by an increase of up to 0.5dB in PSNR over baselines methods, and a 67% parameters reduced RCAN model’s performance remaining on par with that of the RCAN teacher model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google