Data Upcycling Knowledge Distillation for Image Super-Resolution

要約

知識蒸留（Knowledge Distillation：KD）は、タスクに関連する知識を煩雑な事前訓練済み教師モデルからコンパクトな生徒モデルに転送することによって、ディープニューラルネットワークを圧縮する。しかし、超解像（SR）ネットワークのための現在のKD手法は、教師モデルの出力が高品質画像のグランドトゥルース分布（GT）に対するノイズの多い近似値であるというSRタスクの性質を見落としており、教師モデルの知識を遮蔽して、限られたKD効果をもたらす。GTの上限を超えて教師モデルを利用するために、我々はデータアップサイクリング知識蒸留(DUKD)を提案する。さらに、生徒モデルの性能と頑健性を向上させるために、対になった可逆補強によってSRのKDにラベル一貫性正則化を課す。包括的な実験により、DUKD法は、いくつかのSRタスクにおいて、従来の技術を大幅に上回ることが実証された。

要約(オリジナル)

Knowledge distillation (KD) compresses deep neural networks by transferring task-related knowledge from cumbersome pre-trained teacher models to compact student models. However, current KD methods for super-resolution (SR) networks overlook the nature of SR task that the outputs of the teacher model are noisy approximations to the ground-truth distribution of high-quality images (GT), which shades the teacher model’s knowledge to result in limited KD effects. To utilize the teacher model beyond the GT upper-bound, we present the Data Upcycling Knowledge Distillation (DUKD), to transfer the teacher model’s knowledge to the student model through the upcycled in-domain data derived from training data. Besides, we impose label consistency regularization to KD for SR by the paired invertible augmentations to improve the student model’s performance and robustness. Comprehensive experiments demonstrate that the DUKD method significantly outperforms previous arts on several SR tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL