Attention-guided Feature Distillation for Semantic Segmentation

要約

教師から生徒に知識を蒸留するために一般的に使用されている既存の複雑な方法論とは対照的に、この論文では、洗練された特徴マップを利用して注意を移すためのシンプルかつ強力な方法の有効性を紹介します。
提案された方法は、豊富な情報を抽出するのに効果的であり、密な予測タスクとしてのセマンティック セグメンテーションにおいて既存の方法よりも優れていることが証明されています。
提案されたアテンションガイド付き特徴抽出 (AttnFD) 方法では、畳み込みブロック アテンション モジュール (CBAM) が採用されており、チャネル固有の情報コンテンツと空間情報コンテンツの両方を考慮して特徴マップを洗練します。
教師と生徒の洗練された特徴マップ間の平均二乗誤差 (MSE) 損失関数を使用するだけで、AttnFD はセマンティック セグメンテーションで優れたパフォーマンスを示し、和集合に対する平均交差の改善という点で最先端の結果を達成します (
mIoU)、PascalVoc 2012、Cityscapes、COCO、および CamVid データセット上の学生ネットワーク。

要約(オリジナル)

In contrast to existing complex methodologies commonly employed for distilling knowledge from a teacher to a student, this paper showcases the efficacy of a simple yet powerful method for utilizing refined feature maps to transfer attention. The proposed method has proven to be effective in distilling rich information, outperforming existing methods in semantic segmentation as a dense prediction task. The proposed Attention-guided Feature Distillation (AttnFD) method, employs the Convolutional Block Attention Module (CBAM), which refines feature maps by taking into account both channel-specific and spatial information content. Simply using the Mean Squared Error (MSE) loss function between the refined feature maps of the teacher and the student, AttnFD demonstrates outstanding performance in semantic segmentation, achieving state-of-the-art results in terms of improving the mean Intersection over Union (mIoU) of the student network on the PascalVoc 2012, Cityscapes, COCO, and CamVid datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google