Few-shot Medical Image Segmentation via Cross-Reference Transformer

要約

深層学習モデルは医療画像セグメンテーションの主流の方法となっていますが、トレーニングには手動でラベル付けされた大規模なデータセットが必要であり、目に見えないカテゴリに拡張するのは困難です。
フューショット セグメンテーション (FSS) には、少数のラベル付きサンプルから新しいカテゴリを学習することで、これらの課題に対処できる可能性があります。
現在の方法の大部分は、プロトタイプ学習アーキテクチャを採用しています。これには、サポート プロトタイプ ベクトルを拡張し、それらをクエリ特徴と連結して条件付きセグメンテーションを実行することが含まれます。
ただし、そのようなフレームワークは潜在的にクエリ機能に重点を置き、サポートとクエリ機能の間の相関関係を無視する可能性があります。
この論文では、サポート画像とクエリ画像間の相互作用の欠如に対処する、Cross-Reference Transformer を備えた新しい自己監視型の少数ショット医用画像セグメンテーション ネットワークを提案します。
まず、双方向クロスアテンション モジュールを使用して、サポート セット画像とクエリ画像の間の相関機能を強化します。
次に、相互参照メカニズムを使用して、高次元チャネルのサポート機能とクエリ機能の類似部分をマイニングおよび強化します。
実験結果は、提案されたモデルが CT データセットと MRI データセットの両方で良好な結果を達成することを示しています。

要約(オリジナル)

Deep learning models have become the mainstream method for medical image segmentation, but they require a large manually labeled dataset for training and are difficult to extend to unseen categories. Few-shot segmentation(FSS) has the potential to address these challenges by learning new categories from a small number of labeled samples. The majority of the current methods employ a prototype learning architecture, which involves expanding support prototype vectors and concatenating them with query features to conduct conditional segmentation. However, such framework potentially focuses more on query features while may neglect the correlation between support and query features. In this paper, we propose a novel self-supervised few shot medical image segmentation network with Cross-Reference Transformer, which addresses the lack of interaction between the support image and the query image. We first enhance the correlation features between the support set image and the query image using a bidirectional cross-attention module. Then, we employ a cross-reference mechanism to mine and enhance the similar parts of support features and query features in high-dimensional channels. Experimental results show that the proposed model achieves good results on both CT dataset and MRI dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google