Attention-guided Feature Distillation for Semantic Segmentation

要約

教師から生徒に知識を蒸留するために一般的に使用されている既存の複雑な方法論とは対照的に、提案された方法は、洗練された特徴マップを利用して注意を移すためのシンプルかつ強力な方法の有効性を示しています。
提案された方法は、豊富な情報を抽出するのに効果的であり、密な予測タスクとしてのセマンティック セグメンテーションにおいて既存の方法よりも優れていることが証明されています。
提案されたアテンションガイド付き特徴抽出 (AttnFD) 手法は、畳み込みブロック アテンション モジュール (CBAM) を採用しており、チャネル固有の情報コンテンツと空間情報コンテンツの両方を考慮して特徴マップを洗練します。
教師と生徒の洗練された特徴マップの間で平均二乗誤差 (MSE) 損失関数のみを使用することにより、AttnFD はセマンティック セグメンテーションで優れたパフォーマンスを示し、和集合に対する平均交差 (mIoU) に関して最先端の結果を達成します。
) PascalVoc 2012 および Cityscapes データセットについて。
コードは https://github.com/AmirMansurian/AttnFD で入手できます。

要約(オリジナル)

In contrast to existing complex methodologies commonly employed for distilling knowledge from a teacher to a student, the pro-posed method showcases the efficacy of a simple yet powerful method for utilizing refined feature maps to transfer attention. The proposed method has proven to be effective in distilling rich information, outperforming existing methods in semantic segmentation as a dense prediction task. The proposed Attention-guided Feature Distillation (AttnFD) method, em-ploys the Convolutional Block Attention Module (CBAM), which refines feature maps by taking into account both channel-specific and spatial information content. By only using the Mean Squared Error (MSE) loss function between the refined feature maps of the teacher and the student,AttnFD demonstrates outstanding performance in semantic segmentation, achieving state-of-the-art results in terms of mean Intersection over Union (mIoU) on the PascalVoc 2012 and Cityscapes datasets. The Code is available at https://github.com/AmirMansurian/AttnFD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google