Lawin Transformer: Improving Semantic Segmentation Transformer with Multi-Scale Representations via Large Window Attention

要約

マルチスケール表現はセマンティック セグメンテーションにとって重要です。
コミュニティは、マルチスケールのコンテキスト情報を利用するセマンティック セグメンテーション畳み込みニューラル ネットワーク (CNN) の隆盛を目の当たりにしてきました。
ビジョン トランスフォーマー (ViT) が画像分類に強力であることを動機として、いくつかのセマンティック セグメンテーション ViT が最近提案されており、そのほとんどは優れた結果を達成していますが、計算量の節約が犠牲になっています。
この論文では、ウィンドウ アテンション メカニズムを介してセマンティック セグメンテーション ViT にマルチスケール表現を導入することに成功し、パフォーマンスと効率をさらに向上させます。
この目的のために、ローカル ウィンドウがわずかな計算オーバーヘッドでコンテキスト ウィンドウのより広い領域をクエリできるようにするラージ ウィンドウ アテンションを導入します。
クエリ領域に対するコンテキスト領域の比率を調整することで、$\textit{大きなウィンドウ アテンション}$ が複数のスケールでコンテキスト情報をキャプチャできるようになります。
さらに、空間ピラミッド プーリングのフレームワークは、$\textit{thelarge windowtention}$ と連携するために採用されており、$\textbf{la}$rge $\textbf{win}$dowattention 空間ピラミッド プーリングという新しいデコーダが提供されています。
(LawinASPP) セマンティック セグメンテーション ViT 用。
私たちの結果として得られた ViT である Lawin Transformer は、エンコーダーとしての効率的な階層型ビジョン トランスフォーマー (HVT) とデコーダーとしての LawinASPP で構成されています。
実験結果は、Lawin Transformer が既存の方法と比較して効率が向上していることを示しています。
Lawin Transformer はさらに、Cityscapes (84.4% mIoU)、ADE20K (56.2% mIoU)、および COCO-Stuff データセットで新しい最先端のパフォーマンスを確立します。
コードは https://github.com/yan-hao-tian/lawin で公開されます。

要約(オリジナル)

Multi-scale representations are crucial for semantic segmentation. The community has witnessed the flourish of semantic segmentation convolutional neural networks (CNN) exploiting multi-scale contextual information. Motivated by that the vision transformer (ViT) is powerful in image classification, some semantic segmentation ViTs are recently proposed, most of them attaining impressive results but at a cost of computational economy. In this paper, we succeed in introducing multi-scale representations into semantic segmentation ViT via window attention mechanism and further improves the performance and efficiency. To this end, we introduce large window attention which allows the local window to query a larger area of context window at only a little computation overhead. By regulating the ratio of the context area to the query area, we enable the $\textit{large window attention}$ to capture the contextual information at multiple scales. Moreover, the framework of spatial pyramid pooling is adopted to collaborate with $\textit{the large window attention}$, which presents a novel decoder named $\textbf{la}$rge $\textbf{win}$dow attention spatial pyramid pooling (LawinASPP) for semantic segmentation ViT. Our resulting ViT, Lawin Transformer, is composed of an efficient hierachical vision transformer (HVT) as encoder and a LawinASPP as decoder. The empirical results demonstrate that Lawin Transformer offers an improved efficiency compared to the existing method. Lawin Transformer further sets new state-of-the-art performance on Cityscapes (84.4% mIoU), ADE20K (56.2% mIoU) and COCO-Stuff datasets. The code will be released at https://github.com/yan-hao-tian/lawin

arxiv情報

提供元, 利用サービス

arxiv.jp, Google