Q-Net: Query-Informed Few-Shot Medical Image Segmentation

要約

ディープ ラーニングはコンピューター ビジョンで大きな成功を収めましたが、データ アノテーションが不足しているため、医用画像セグメンテーション (MIS) は依然として課題となっています。
少数ショット セグメンテーション (Meta-FSS) のメタ学習手法は、この課題に取り組むために広く使用されていますが、クエリ イメージとサポート セットの間の分布シフトの可能性は無視されています。
対照的に、経験豊富な臨床医は、クエリ画像から情報を借用することにより、そのような変化を認識して対処し、それに応じて以前の認知モデルを微調整または調整できます。
これに触発されて、専門の臨床医の学習メカニズムを精神的に模倣するクエリインフォームド メタ FSS アプローチである Q-Net を提案します。
最近提案された異常検出に着想を得た方法である ADNet に基づいて Q-Net を構築します。
具体的には、クエリに基づいた 2 つの計算モジュール、つまり、クエリに基づいたしきい値適応モジュールとクエリに基づいたプロトタイプ改良モジュールを ADNet に追加します。
それらを特徴抽出モジュールのデュアルパス拡張と組み合わせることで、Q-Net は、それぞれ腹部 MR 画像と心臓 MR 画像で構成される、広く使用されている 2 つのデータセットで最先端のパフォーマンスを実現します。
私たちの研究は、クエリ情報を活用することで Meta-FSS 技術を改善する新しい方法に光を当てています。

要約(オリジナル)

Deep learning has achieved tremendous success in computer vision, while medical image segmentation (MIS) remains a challenge, due to the scarcity of data annotations. Meta-learning techniques for few-shot segmentation (Meta-FSS) have been widely used to tackle this challenge, while they neglect possible distribution shifts between the query image and the support set. In contrast, an experienced clinician can perceive and address such shifts by borrowing information from the query image, then fine-tune or calibrate his (her) prior cognitive model accordingly. Inspired by this, we propose Q-Net, a Query-informed Meta-FSS approach, which mimics in spirit the learning mechanism of an expert clinician. We build Q-Net based on ADNet, a recently proposed anomaly detection-inspired method. Specifically, we add two query-informed computation modules into ADNet, namely a query-informed threshold adaptation module and a query-informed prototype refinement module. Combining them with a dual-path extension of the feature extraction module, Q-Net achieves state-of-the-art performance on two widely used datasets, which are composed of abdominal MR images and cardiac MR images, respectively. Our work sheds light on a novel way to improve Meta-FSS techniques by leveraging query information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google