Few Shot Medical Image Segmentation with Cross Attention Transformer

要約

医療画像のセグメンテーションは近年大幅に進歩しました。
深層学習ベースの手法は、手動で注釈を付けた大量のデータを必要とする、大量のデータを必要とする手法として認識されています。
ただし、医用画像分析の分野では手動によるアノテーションは高価であり、分野固有の専門知識が必要です。
この課題に対処するために、少数ショット学習には、わずかな例から新しいクラスを学習できる可能性があります。
この研究では、クロス マスク アテンション トランスフォーマーに基づいた、CAT-Net と呼ばれる少数ショット医療画像セグメンテーションのための新しいフレームワークを提案します。
私たちが提案するネットワークは、サポート画像とクエリ画像の間の相関関係をマイニングし、有用な前景情報のみに焦点を当てるように制限し、サポート プロトタイプとクエリ特徴の両方の表現能力を高めます。
さらに、クエリ画像セグメンテーションを繰り返し改良し、サポート機能を促進する反復改良フレームワークを設計します。
提案された方法を 3 つの公開データセット (Abd-CT、Abd-MRI、Card-MRI) で検証しました。
実験結果は、最先端の方法と比較して、私たちの方法の優れたパフォーマンスと各コンポーネントの有効性を示しています。
コード: https://github.com/hust-linyi/CAT-Net。

要約(オリジナル)

Medical image segmentation has made significant progress in recent years. Deep learning-based methods are recognized as data-hungry techniques, requiring large amounts of data with manual annotations. However, manual annotation is expensive in the field of medical image analysis, which requires domain-specific expertise. To address this challenge, few-shot learning has the potential to learn new classes from only a few examples. In this work, we propose a novel framework for few-shot medical image segmentation, termed CAT-Net, based on cross masked attention Transformer. Our proposed network mines the correlations between the support image and query image, limiting them to focus only on useful foreground information and boosting the representation capacity of both the support prototype and query features. We further design an iterative refinement framework that refines the query image segmentation iteratively and promotes the support feature in turn. We validated the proposed method on three public datasets: Abd-CT, Abd-MRI, and Card-MRI. Experimental results demonstrate the superior performance of our method compared to state-of-the-art methods and the effectiveness of each component. Code: https://github.com/hust-linyi/CAT-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google