P2AT: Pyramid Pooling Axial Transformer for Real-time Semantic Segmentation

要約

最近、Transformer ベースのモデルは、長距離の依存関係をモデル化できるため、さまざまな視覚タスクで有望な結果を達成しています。
ただし、変圧器は計算コストが高いため、自動運転などのリアルタイム タスクへの応用が制限されます。
さらに、効率的なローカルおよびグローバルの特徴の選択と融合は、正確な密集予測、特に運転シーンの理解タスクに不可欠です。
この論文では、Pyramid Pooling Axial Transformer (P2AT) という名前のリアルタイム セマンティック セグメンテーション アーキテクチャを提案します。
提案された P2AT は、CNN エンコーダーから粗い特徴を取得してスケールを認識したコンテキスト特徴を生成し、それをマルチレベル特徴集約スキームと組み合わせて強化されたコンテキスト特徴を生成します。
具体的には、複雑な空間依存性とチャネル依存性を捕捉するためのピラミッド プーリング軸変換器を導入し、セマンティック セグメンテーションのパフォーマンスの向上につながります。
次に、意味情報をさまざまなレベルで結合するための双方向融合モジュール (BiF) を設計します。
一方、Global Context Enhancer は、異なるセマンティック レベルを連結する際の不十分さを補うために導入されています。
最後に、より大きな受容野を維持するのに役立つデコーダ ブロックが提案されています。
私たちは、3 つの困難なシーン理解データセットに基づいて P2AT バリアントを評価します。
特に、当社の P2AT バリアントは、Camvid データセットで P2AT-S、P2ATM、および P2AT-L に対してそれぞれ 80.5%、81.0%、81.1% という最先端の結果を達成しています。
さらに、都市景観と Pascal VOC 2012 に関する実験では、提案されたアーキテクチャの効率が実証され、P2AT-M が都市景観で 78.7% を達成するという結果が得られました。
ソースコードは次の場所から入手できます。

要約(オリジナル)

Recently, Transformer-based models have achieved promising results in various vision tasks, due to their ability to model long-range dependencies. However, transformers are computationally expensive, which limits their applications in real-time tasks such as autonomous driving. In addition, an efficient local and global feature selection and fusion are vital for accurate dense prediction, especially driving scene understanding tasks. In this paper, we propose a real-time semantic segmentation architecture named Pyramid Pooling Axial Transformer (P2AT). The proposed P2AT takes a coarse feature from the CNN encoder to produce scale-aware contextual features, which are then combined with the multi-level feature aggregation scheme to produce enhanced contextual features. Specifically, we introduce a pyramid pooling axial transformer to capture intricate spatial and channel dependencies, leading to improved performance on semantic segmentation. Then, we design a Bidirectional Fusion module (BiF) to combine semantic information at different levels. Meanwhile, a Global Context Enhancer is introduced to compensate for the inadequacy of concatenating different semantic levels. Finally, a decoder block is proposed to help maintain a larger receptive field. We evaluate P2AT variants on three challenging scene-understanding datasets. In particular, our P2AT variants achieve state-of-art results on the Camvid dataset 80.5%, 81.0%, 81.1% for P2AT-S, P2ATM, and P2AT-L, respectively. Furthermore, our experiment on Cityscapes and Pascal VOC 2012 have demonstrated the efficiency of the proposed architecture, with results showing that P2AT-M, achieves 78.7% on Cityscapes. The source code will be available at

arxiv情報

提供元, 利用サービス

arxiv.jp, Google