IncepFormer: Efficient Inception Transformer with Pyramid Pooling for Semantic Segmentation

要約

意味的セグメンテーションは通常、グローバルな文脈、微細な位置情報、マルチスケール特徴などを利用する。Transformerベースのセグメンテーションをこれらの側面から発展させるために、我々はIncepFormerと呼ばれるシンプルかつ強力なセマンティックセグメンテーションアーキテクチャを提案する。IncepFormerは以下の2つの重要な貢献をしている。まず、ピラミッド構造のTransformerエンコーダを導入し、グローバルな文脈と微細な位置情報を同時に収集する。これらの特徴は連結され、最終的に画素ごとの予測のために畳み込み層に供給されます。第二に、IncepFormerは、深さ方向の畳み込みと、各自己注意層における軽量のフィードフォワードモジュールを備えたInceptionに似たアーキテクチャを統合し、豊富な局所マルチスケール物体特徴を効率的に取得する。例えば、1) IncepFormer-SはADE20Kにおいて47.7%のmIoUを達成し、従来の最良手法を1%上回ると同時に、半分のパラメータと少ないFLOPsで処理できることを示しました。2) IncepFormer-Bは、Cityscapesデータセット（パラメータ数39.6M）において、82.0%のmIoUを達成しました。コードはgithub.com/shendu0321/IncepFormerに掲載されています。

要約(オリジナル)

Semantic segmentation usually benefits from global contexts, fine localisation information, multi-scale features, etc. To advance Transformer-based segmenters with these aspects, we present a simple yet powerful semantic segmentation architecture, termed as IncepFormer. IncepFormer has two critical contributions as following. First, it introduces a novel pyramid structured Transformer encoder which harvests global context and fine localisation features simultaneously. These features are concatenated and fed into a convolution layer for final per-pixel prediction. Second, IncepFormer integrates an Inception-like architecture with depth-wise convolutions, and a light-weight feed-forward module in each self-attention layer, efficiently obtaining rich local multi-scale object features. Extensive experiments on five benchmarks show that our IncepFormer is superior to state-of-the-art methods in both accuracy and speed, e.g., 1) our IncepFormer-S achieves 47.7% mIoU on ADE20K which outperforms the existing best method by 1% while only costs half parameters and fewer FLOPs. 2) Our IncepFormer-B finally achieves 82.0% mIoU on Cityscapes dataset with 39.6M parameters. Code is available:github.com/shendu0321/IncepFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL