Polyp-PVT: Polyp Segmentation with Pyramid Vision Transformers

要約

ほとんどのポリープセグメンテーション方法は、バックボーンとしてCNNを使用するため、エンコーダーとデコーダーの間で情報を交換する際に2つの重要な問題が発生します。
2）これらの機能を融合するための効果的なメカニズムを設計する。
既存のCNNベースの方法とは異なり、より強力で堅牢な表現を学習するトランスフォーマーエンコーダーを採用しています。
さらに、画像取得の影響とポリープのとらえどころのない特性を考慮して、カスケード融合モジュール（CFM）、カモフラージュ識別モジュール（CIM）、および類似性集約モジュール（SAM）を含む3つの新しいモジュールを紹介します。
これらの中で、CFMは高レベルの機能からポリープのセマンティックおよび位置情報を収集するために使用され、CIMは低レベルの機能に偽装されたポリープ情報をキャプチャするために適用されます。
SAMの助けを借りて、ポリープ領域のピクセル特徴を高レベルの意味位置情報とともにポリープ領域全体に拡張し、それによってクロスレベル特徴を効果的に融合します。
Polyp-PVTという名前の提案されたモデルは、機能のノイズを効果的に抑制し、表現能力を大幅に向上させます。
広く採用されている5つのデータセットでの広範な実験により、提案されたモデルは、既存の方法よりもさまざまな困難な状況（外観の変化、小さなオブジェクトなど）に対して堅牢であり、新しい最先端のパフォーマンスを実現することが示されています。
提案されたモデルはhttps://github.com/DengPingFan/Polyp-PVTで入手できます。

要約(オリジナル)

Most polyp segmentation methods use CNNs as their backbone, leading to two key issues when exchanging information between the encoder and decoder: 1) taking into account the differences in contribution between different-level features; and 2) designing an effective mechanism for fusing these features. Different from existing CNN-based methods, we adopt a transformer encoder, which learns more powerful and robust representations. In addition, considering the image acquisition influence and elusive properties of polyps, we introduce three novel modules, including a cascaded fusion module (CFM), a camouflage identification module (CIM), a and similarity aggregation module (SAM). Among these, the CFM is used to collect the semantic and location information of polyps from high-level features, while the CIM is applied to capture polyp information disguised in low-level features. With the help of the SAM, we extend the pixel features of the polyp area with high-level semantic position information to the entire polyp area, thereby effectively fusing cross-level features. The proposed model, named Polyp-PVT, effectively suppresses noises in the features and significantly improves their expressive capabilities. Extensive experiments on five widely adopted datasets show that the proposed model is more robust to various challenging situations (e.g., appearance changes, small objects) than existing methods, and achieves the new state-of-the-art performance. The proposed model is available at https://github.com/DengPingFan/Polyp-PVT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google