Multi-Granularity Distillation Scheme Towards Lightweight Semi-Supervised Semantic Segmentation

要約

半教師付きセマンティック セグメンテーションの分野ではさまざまな程度の進歩がありますが、最近の成功のほとんどは扱いにくいモデルに関係しており、軽量なソリューションはまだ調査されていません。
既存の知識抽出技術は、ラベル付けされたデータからのピクセルレベルの概念により注意を払い、ラベル付けされていないデータ内のより有益な手がかりを考慮に入れていないことがわかりました。
その結果、新しい多粒度蒸留（MGD）スキームを介して軽量SSSSモデルを提供する最初の試みを提供します。このスキームでは、3つの側面から多粒度がキャプチャされます。i）補完的な教師構造。
ii) ラベル付けされていないデータの共同蒸留。
iii) 階層的およびマルチレベルの損失設定。
具体的には、MGD は、半教師あり設定で不可欠な多様なデータ特性を最大限に活用するのに役立つラベル付き/ラベルなしデータ共同蒸留スキームとして定式化されます。
イメージ レベルのセマンティック センシティブ ロス、リージョン レベルのコンテンツ認識ロス、およびピクセル レベルの一貫性ロスは、構造的に補完的な教師を介して階層的な蒸留抽象化を強化するために設定されています。
PASCAL VOC2012 および Cityscapes での実験結果は、MGD がさまざまなパーティション プロトコルの下で競合するアプローチよりも大幅に優れていることを示しています。
たとえば、ResNet-18 および MobileNet-v2 バックボーンのパフォーマンスは、Cityscapes の 1/16 パーティション プロトコルでそれぞれ 11.5% および 4.6% 向上します。
モデル バックボーンの FLOP は 3.4 ～ 5.3x (ResNet-18) および 38.7 ～ 59.6x (MobileNetv2) で圧縮されますが、モデルは満足のいくセグメンテーション結果を達成することができます。

要約(オリジナル)

Albeit with varying degrees of progress in the field of Semi-Supervised Semantic Segmentation, most of its recent successes are involved in unwieldy models and the lightweight solution is still not yet explored. We find that existing knowledge distillation techniques pay more attention to pixel-level concepts from labeled data, which fails to take more informative cues within unlabeled data into account. Consequently, we offer the first attempt to provide lightweight SSSS models via a novel multi-granularity distillation (MGD) scheme, where multi-granularity is captured from three aspects: i) complementary teacher structure; ii) labeled-unlabeled data cooperative distillation; iii) hierarchical and multi-levels loss setting. Specifically, MGD is formulated as a labeled-unlabeled data cooperative distillation scheme, which helps to take full advantage of diverse data characteristics that are essential in the semi-supervised setting. Image-level semantic-sensitive loss, region-level content-aware loss, and pixel-level consistency loss are set up to enrich hierarchical distillation abstraction via structurally complementary teachers. Experimental results on PASCAL VOC2012 and Cityscapes reveal that MGD can outperform the competitive approaches by a large margin under diverse partition protocols. For example, the performance of ResNet-18 and MobileNet-v2 backbone is boosted by 11.5% and 4.6% respectively under 1/16 partition protocol on Cityscapes. Although the FLOPs of the model backbone is compressed by 3.4-5.3x (ResNet-18) and 38.7-59.6x (MobileNetv2), the model manages to achieve satisfactory segmentation results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google