Transformer Utilization in Medical Image Segmentation Networks

要約

タイトル：医療画像分割ネットワークにおけるTransformerの利用
要約：
– 自然画像のデータリッチ領域での成功により、Transformerは最近、医療画像分割においても一般的になっている
– しかしながら、Transformerを畳み込みブロックに異なるアーキテクトの順列で組み合わせた結果、相対的な有効性は解釈が開かれたままである
– 我々はTransformer Ablationsを導入し、Transformerブロックをプレーンな線形演算子に置き換え、この有効性を測定する
– 2つの医療画像分割タスクにおける8つのモデルの実験により、以下のことを探求する。
1. Transformerで学習された表現の置換可能性
2. Transformer容量だけでは表現置換性を防げず、有効な設計と協調して機能する
3. Transformerブロックに明示的な特徴階層が存在するだけで、自己注意モジュールに付随するよりも有益である
4. Transformerモジュールの前に重要な空間ダウンサンプリングを行う場合は注意が必要である。

要約(オリジナル)

Owing to success in the data-rich domain of natural images, Transformers have recently become popular in medical image segmentation. However, the pairing of Transformers with convolutional blocks in varying architectural permutations leaves their relative effectiveness to open interpretation. We introduce Transformer Ablations that replace the Transformer blocks with plain linear operators to quantify this effectiveness. With experiments on 8 models on 2 medical image segmentation tasks, we explore — 1) the replaceable nature of Transformer-learnt representations, 2) Transformer capacity alone cannot prevent representational replaceability and works in tandem with effective design, 3) The mere existence of explicit feature hierarchies in transformer blocks is more beneficial than accompanying self-attention modules, 4) Major spatial downsampling before Transformer modules should be used with caution.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI