HFGD: High-level Feature Guided Decoder for Semantic Segmentation

要約

ResNet や Swin-Transformer など、セマンティック セグメンテーションに一般的に使用されるバックボーンには、フィーチャ エンコーディング用の複数の段階があります。
バックボーンの初期段階から高解像度の低レベル機能マップを単純に使用して、低解像度の高レベル機能マップを直接改良することは、低解像度機能マップのアップサンプリングの一般的な方法です。
しかし、低レベルの機能の表現能力は一般に高レベルの機能よりも劣るため、アップサンプリングの改良に「ノイズ」が導入されます。
この問題に対処するために、高レベル機能ガイド付きデコーダー (HFGD) を提案しました。これは、分離された高レベル機能を使用して低レベル機能とアップサンプリング プロセスをガイドします。
具体的には、慎重に設計された停止勾配操作とクラス カーネルによってガイダンスが実現されます。
現在、クラス カーネルは高レベルの機能のみで共進化し、アップサンプリング ヘッドのトレーニング プロセスをガイドするためにアップサンプリング ヘッドで再利用されます。
HFGD は非常に効率的で効果的であり、特徴マップを以前には見られなかった 2 の出力ストライド (OS) にアップサンプリングし、それでも精度の向上を得ることができます。
HFGD は、いくつかのベンチマーク データセット (Pascal Context、COCOStuff164k、Cityscapes など) で、小さな FLOP で最先端のパフォーマンスを発揮します。
完全なコードは、https://github.com/edwardyehuang/HFGD.git で入手できます。

要約(オリジナル)

Commonly used backbones for semantic segmentation, such as ResNet and Swin-Transformer, have multiple stages for feature encoding. Simply using high-resolution low-level feature maps from the early stages of the backbone to directly refine the low-resolution high-level feature map is a common practice of low-resolution feature map upsampling. However, the representation power of the low-level features is generally worse than high-level features, thus introducing “noise’ to the upsampling refinement. To address this issue, we proposed High-level Feature Guided Decoder (HFGD), which uses isolated high-level features to guide low-level features and upsampling process. Specifically, the guidance is realized through carefully designed stop gradient operations and class kernels. Now the class kernels co-evolve only with the high-level features and are reused in the upsampling head to guide the training process of the upsampling head. HFGD is very efficient and effective that can also upsample the feature maps to a previously unseen output stride (OS) of 2 and still obtain accuracy gain. HFGD demonstrates state-of-the-art performance on several benchmark datasets (e.g. Pascal Context, COCOStuff164k and Cityscapes) with small FLOPs. The full code will be available at https://github.com/edwardyehuang/HFGD.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google