Cats: Complementary CNN and Transformer Encoders for Segmentation

要約

最近、ディープ ラーニング手法は、多くの医療画像セグメンテーション タスクで最先端のパフォーマンスを達成しています。
これらの多くは、畳み込みニューラル ネットワーク (CNN) に基づいています。
このような方法では、エンコーダーは入力画像からグローバルおよびローカル情報を抽出するための重要な部分です。
抽出された特徴は、セグメンテーションを予測するためにデコーダーに渡されます。
対照的に、いくつかの最近の研究では、トランスフォーマーを使用した優れたパフォーマンスが示されています。これにより、長距離の空間依存関係をより適切にモデル化し、低レベルの詳細をキャプチャできます。
ただし、トランスフォーマーは、畳み込みベースのエンコーダーを効率的に置き換えることができない一部のタスクでは、唯一のエンコーダーとしてのパフォーマンスが低下します。
この論文では、3D生物医学画像セグメンテーションのためのダブルエンコーダーを備えたモデルを提案します。
私たちのモデルは、独立した変圧器エンコーダーで増強された U 字型の CNN です。
畳み込みエンコーダーとトランスフォーマーからの情報を融合し、デコーダーに渡して結果を取得します。
BTCV、MoDA、Decathlon の 3 つの異なる課題からの 3 つの公開データセットでメソッドを評価します。
各タスクにトランスフォーマーがある場合とない場合の最先端のモデルと比較して、提案された方法は、全体的により高いダイススコアを取得します。

要約(オリジナル)

Recently, deep learning methods have achieved state-of-the-art performance in many medical image segmentation tasks. Many of these are based on convolutional neural networks (CNNs). For such methods, the encoder is the key part for global and local information extraction from input images; the extracted features are then passed to the decoder for predicting the segmentations. In contrast, several recent works show a superior performance with the use of transformers, which can better model long-range spatial dependencies and capture low-level details. However, transformer as sole encoder underperforms for some tasks where it cannot efficiently replace the convolution based encoder. In this paper, we propose a model with double encoders for 3D biomedical image segmentation. Our model is a U-shaped CNN augmented with an independent transformer encoder. We fuse the information from the convolutional encoder and the transformer, and pass it to the decoder to obtain the results. We evaluate our methods on three public datasets from three different challenges: BTCV, MoDA and Decathlon. Compared to the state-of-the-art models with and without transformers on each task, our proposed method obtains higher Dice scores across the board.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google