I2CKD : Intra- and Inter-Class Knowledge Distillation for Semantic Segmentation

要約

このペーパーでは、画像セマンティックセグメンテーションに合わせて調整された新しい知識蒸留方法を提案し、クラス内およびクラス間の知識蒸留（I2CKD）と呼ばれます。
この方法の焦点は、教師の中間層（面倒なモデル）と生徒（コンパクトモデル）の間で知識をキャプチャして転送することです。
知識抽出のために、機能マップから派生したクラスのプロトタイプを活用します。
知識移転を促進するために、クラス内の変動を最小限に抑え、教師と学生のプロトタイプ間のクラス間の分散を最大化するために、トリプレットの損失を採用しています。
その結果、I2CKDにより、生徒は各クラスの教師の特徴表現をよりよく模倣し、それによりコンパクトネットワークのセグメンテーションパフォーマンスを向上させることができます。
さまざまな教師と学生のネットワークペアを使用して、3つのセグメンテーションデータセット、つまりPascal Voc、Camvidの広範な実験は、提案された方法の有効性を示しています。

要約(オリジナル)

This paper proposes a new knowledge distillation method tailored for image semantic segmentation, termed Intra- and Inter-Class Knowledge Distillation (I2CKD). The focus of this method is on capturing and transferring knowledge between the intermediate layers of teacher (cumbersome model) and student (compact model). For knowledge extraction, we exploit class prototypes derived from feature maps. To facilitate knowledge transfer, we employ a triplet loss in order to minimize intra-class variances and maximize inter-class variances between teacher and student prototypes. Consequently, I2CKD enables the student to better mimic the feature representation of the teacher for each class, thereby enhancing the segmentation performance of the compact network. Extensive experiments on three segmentation datasets, i.e., Cityscapes, Pascal VOC and CamVid, using various teacher-student network pairs demonstrate the effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google