Boosting Convolution with Efficient MLP-Permutation for Volumetric Medical Image Segmentation

要約

最近、Vision Transformer (ViT) の出現により、3D データセット ベンチマーク、特に 3D ボリューム医療画像セグメンテーション (Vol-MedSeg) に大きな進歩がもたらされました。
同時に、多層パーセプトロン (MLP) ネットワークは、リソースを大量に消費する自己注意モジュールを除いても、ViT と同等の結果が得られるため、研究者の間で人気が再び高まっています。
この研究では、畳み込みニューラル ネットワーク (CNN) と MLP の両方の長所を活用する、PHNet という Vol-MedSeg 用の新しい置換可能なハイブリッド ネットワークを提案します。
PHNet は、2D と 3D CNN を組み合わせて局所特徴を抽出することにより、3D ボリューム データの固有の等方性問題に対処します。
さらに、位置情報を保存しながら長距離依存性を捕捉する効率的な多層置換パーセプトロン (MLPP) モジュールを提案します。
これは、入力テンソルを異なる軸に沿って並べ替える軸分解操作によって実現され、それによって位置情報の個別のエンコードが可能になります。
さらに、MLPP は、特徴を小さなトークンに分割して個別に処理するトークン セグメンテーション操作を使用して、Vol-MedSeg の MLP の解像度感度の問題に取り組んでいます。
広範な実験結果により、PHNet は、広く使用されているものの困難な新型コロナウイルス感染症 (COVID-19-20) および Synapse ベンチマークにおいて、より低い計算コストで最先端の手法よりも優れたパフォーマンスを発揮することが検証されています。
このアブレーション研究は、CNN と MLP の両方の長所を活用する際の PHNet の有効性も示しています。

要約(オリジナル)

Recently, the advent of vision Transformer (ViT) has brought substantial advancements in 3D dataset benchmarks, particularly in 3D volumetric medical image segmentation (Vol-MedSeg). Concurrently, multi-layer perceptron (MLP) network has regained popularity among researchers due to their comparable results to ViT, albeit with the exclusion of the resource-intensive self-attention module. In this work, we propose a novel permutable hybrid network for Vol-MedSeg, named PHNet, which capitalizes on the strengths of both convolution neural networks (CNNs) and MLP. PHNet addresses the intrinsic isotropy problem of 3D volumetric data by employing a combination of 2D and 3D CNNs to extract local features. Besides, we propose an efficient multi-layer permute perceptron (MLPP) module that captures long-range dependence while preserving positional information. This is achieved through an axis decomposition operation that permutes the input tensor along different axes, thereby enabling the separate encoding of the positional information. Furthermore, MLPP tackles the resolution sensitivity issue of MLP in Vol-MedSeg with a token segmentation operation, which divides the feature into smaller tokens and processes them individually. Extensive experimental results validate that PHNet outperforms the state-of-the-art methods with lower computational costs on the widely-used yet challenging COVID-19-20 and Synapse benchmarks. The ablation study also demonstrates the effectiveness of PHNet in harnessing the strengths of both CNNs and MLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google