AICSD: Adaptive Inter-Class Similarity Distillation for Semantic Segmentation

要約

近年、ディープ ニューラル ネットワークはコンピューター ビジョン タスクにおいて目覚ましい精度を達成しました。
特にセマンティック セグメンテーションなどの高密度予測タスクでは推論時間が重要な要素となるため、知識の蒸留は軽量の学生ネットワークの精度を向上させるための成功した手法として浮上しています。
既存の方法では、チャネル内や異なるクラス間の情報が無視されることがよくあります。
これらの制限を克服するために、この論文では知識の蒸留を目的としたクラス間類似性蒸留 (ICSD) と呼ばれる新しい方法を提案します。
提案された方法は、ネットワーク出力から各クラスのクラス内分布を独立して計算することにより、教師ネットワークから生徒ネットワークに高次の関係を転送します。
続いて、クラスの各ペアの分布間の KL 発散を使用して、蒸留のためのクラス間類似性行列を計算します。
提案された方法の有効性をさらに向上させるために、適応損失重み付け (ALW) トレーニング戦略が提案されます。
既存の方法とは異なり、ALW 戦略は、教師の予測の誤差を考慮して、トレーニング プロセスの終わりに向けて教師ネットワークの影響を徐々に減らします。
セマンティック セグメンテーション用の 2 つのよく知られたデータセット、Cityscapes と Pascal VOC 2012 に対して行われた広範な実験により、mIoU とピクセル精度の観点から提案された方法の有効性が検証されました。
提案された方法は、定量的評価と定性的評価の両方で実証されているように、既存の知識抽出方法のほとんどを上回ります。
コードはhttps://github.com/AmirMansurian/AICSDから入手できます。

要約(オリジナル)

In recent years, deep neural networks have achieved remarkable accuracy in computer vision tasks. With inference time being a crucial factor, particularly in dense prediction tasks such as semantic segmentation, knowledge distillation has emerged as a successful technique for improving the accuracy of lightweight student networks. The existing methods often neglect the information in channels and among different classes. To overcome these limitations, this paper proposes a novel method called Inter-Class Similarity Distillation (ICSD) for the purpose of knowledge distillation. The proposed method transfers high-order relations from the teacher network to the student network by independently computing intra-class distributions for each class from network outputs. This is followed by calculating inter-class similarity matrices for distillation using KL divergence between distributions of each pair of classes. To further improve the effectiveness of the proposed method, an Adaptive Loss Weighting (ALW) training strategy is proposed. Unlike existing methods, the ALW strategy gradually reduces the influence of the teacher network towards the end of training process to account for errors in teacher’s predictions. Extensive experiments conducted on two well-known datasets for semantic segmentation, Cityscapes and Pascal VOC 2012, validate the effectiveness of the proposed method in terms of mIoU and pixel accuracy. The proposed method outperforms most of existing knowledge distillation methods as demonstrated by both quantitative and qualitative evaluations. Code is available at: https://github.com/AmirMansurian/AICSD

arxiv情報

提供元, 利用サービス

arxiv.jp, Google