DIAMANT: Dual Image-Attention Map Encoders For Medical Image Segmentation

要約

タイトル：DIAMANT：医用画像セグメンテーションのためのデュアル画像注目マップエンコーダ

要約：

– 純粋なトランスフォーマーベースのアーキテクチャは多くのコンピュータビジョンのタスクで有望なパフォーマンスを示したが、より専門化されたタスクに適合するようにCNNとトランスフォーマーブロックを組み合わせたハイブリッドモデルも導入されている。
– ただし、医療画像セグメンテーションの場合、純粋なトランスフォーマーベースのアーキテクチャとハイブリッドトランスフォーマーベースのアーキテクチャはどちらもCNNよりパフォーマンスが向上するが、その高いトレーニンングコストと複雑さにより、リアルシナリオでの使用が困難となっている。
– 本稿では、純粋な畳み込み層に基づく簡略化されたアーキテクチャを提案し、自己教師ありのプレートレーニングビジョン変換ネットワーク（DINOなど）から得られた注視マップ可視化を利用することで、より少ない計算コストで複雑なトランスフォーマーベースのネットワークを上回ることができることを示している。
– 提案されたアーキテクチャは、1つのブランチに元の画像を入力し、他方のブランチには、同じ画像の自己注目ヘッドから得られた複数の注視マップ可視化（複数のチャネルとして）を入力するように構成されている。
– 公開されている2つの医療画像データセットでの実験の結果、提案されたパイプラインはU-Netと最先端の医療画像セグメンテーションモデルを上回ることが示された。

要約(オリジナル)

Although purely transformer-based architectures showed promising performance in many computer vision tasks, many hybrid models consisting of CNN and transformer blocks are introduced to fit more specialized tasks. Nevertheless, despite the performance gain of both pure and hybrid transformer-based architectures compared to CNNs in medical imaging segmentation, their high training cost and complexity make it challenging to use them in real scenarios. In this work, we propose simple architectures based on purely convolutional layers, and show that by just taking advantage of the attention map visualizations obtained from a self-supervised pretrained vision transformer network (e.g., DINO) one can outperform complex transformer-based networks with much less computation costs. The proposed architecture is composed of two encoder branches with the original image as input in one branch and the attention map visualizations of the same image from multiple self-attention heads from a pre-trained DINO model (as multiple channels) in the other branch. The results of our experiments on two publicly available medical imaging datasets show that the proposed pipeline outperforms U-Net and the state-of-the-art medical image segmentation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI