Prototype Correlation Matching and Class-Relation Reasoning for Few-Shot Medical Image Segmentation

要約

数ショット医用画像セグメンテーションは、生物医用イメージング分野における医療分析の精度と効率の向上において大きな進歩を遂げました。
ただし、既存のほとんどの方法では、基本医療クラスと新規医療クラス間のクラス間関係を調査して、目に見えない新規クラスを推論することはできません。
さらに、同じ種類の医療クラスには、さまざまな外観、形状、スケールによってもたらされるクラス内での大きな変動があり、そのためあいまいな視覚的特徴付けが発生し、目に見えない新しいクラスに対するこれらの既存の手法の一般化パフォーマンスが低下します。
上記の課題に対処するために、この論文では \underline{\textbf{P}}ロトタイプ相関 \underline{\textbf{M}}atching および \underline{\textbf{C}}lass-relation \underline{ を提案します。
\textbf{R}}イージング（つまり、\textbf{PMCR}）モデル。
提案されたモデルは、異なる医療クラス間のクラス間関係を推論しながら、クラス内の大きな変動によって引き起こされる誤ったピクセル相関一致を効果的に軽減できます。
具体的には、大きなクラス内変動によってもたらされる誤ったピクセル相関一致に対処するために、異なる外観の多様な視覚情報を適切に特徴付けることができる代表的なプロトタイプをマイニングするためのプロトタイプ相関一致モジュールを提案します。
私たちは、クラス内の変動によって引き起こされる誤った一致に対処するために、最適なトランスポート アルゴリズムを介して、サポート機能とクエリ機能の間のピクセル レベルの相関マッチングではなくプロトタイプ レベルの相関マッチングを調査することを目指しています。
一方、クラス間関係を調査するために、基本クラスと新規クラスの間のクラス間関係を推論することにより、まだ見たことのない新規医療オブジェクトをセグメント化するクラス関係推論モジュールを設計します。
このようなクラス間の関係は、ローカル クエリ特徴のセマンティック エンコーディングにうまく伝播して、少数ショット セグメンテーションのパフォーマンスを向上させることができます。
定量的な比較は、他のベースライン手法と比較して、このモデルのパフォーマンスが大幅に向上していることを示しています。

要約(オリジナル)

Few-shot medical image segmentation has achieved great progress in improving accuracy and efficiency of medical analysis in the biomedical imaging field. However, most existing methods cannot explore inter-class relations among base and novel medical classes to reason unseen novel classes. Moreover, the same kind of medical class has large intra-class variations brought by diverse appearances, shapes and scales, thus causing ambiguous visual characterization to degrade generalization performance of these existing methods on unseen novel classes. To address the above challenges, in this paper, we propose a \underline{\textbf{P}}rototype correlation \underline{\textbf{M}}atching and \underline{\textbf{C}}lass-relation \underline{\textbf{R}}easoning (i.e., \textbf{PMCR}) model. The proposed model can effectively mitigate false pixel correlation matches caused by large intra-class variations while reasoning inter-class relations among different medical classes. Specifically, in order to address false pixel correlation match brought by large intra-class variations, we propose a prototype correlation matching module to mine representative prototypes that can characterize diverse visual information of different appearances well. We aim to explore prototype-level rather than pixel-level correlation matching between support and query features via optimal transport algorithm to tackle false matches caused by intra-class variations. Meanwhile, in order to explore inter-class relations, we design a class-relation reasoning module to segment unseen novel medical objects via reasoning inter-class relations between base and novel classes. Such inter-class relations can be well propagated to semantic encoding of local query features to improve few-shot segmentation performance. Quantitative comparisons illustrates the large performance improvement of our model over other baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google