SQA-SAM: Segmentation Quality Assessment for Medical Images Utilizing the Segment Anything Model

要約

セグメンテーション品質評価 (SQA) は、医療画像ベースの AI システムの導入において重要な役割を果たします。
AI システムが信頼性の低い予測や不正確な予測を生成するたびに、ユーザーに通知や警告を受け取る必要があります。
一般的な基礎セグメンテーション モデルであるセグメント エニシング モデル (SAM) の導入により、医療画像のセグメンテーションに SAM をどのように利用できるかという新しい研究の機会が生まれました。
この論文では、SQA-SAM と呼ばれる新しい SQA 手法を提案します。この手法は、SAM を利用して医療画像セグメンテーションの品質評価の精度を向上させます。
医用画像セグメンテーション モデル (MedSeg) がテスト画像の予測を生成すると、その予測に基づいて視覚的なプロンプトが生成され、SAM を利用して視覚的なプロンプトに対応するセグメンテーション マップが生成されます。
MedSeg のセグメンテーションが SAM のセグメンテーションとどの程度一致しているかは、MedSeg のセグメンテーションが物体性および画像領域分割の一般的な認識とどの程度一致しているかを示します。
私たちはそのような調整のためのスコア尺度を開発します。
実験では、生成されたスコアが真のセグメンテーション品質を反映する Dice 係数スコアと中程度から強い正の相関 (ピアソン相関およびスピアマン相関) を示すことがわかりました。

要約(オリジナル)

Segmentation quality assessment (SQA) plays a critical role in the deployment of a medical image based AI system. Users need to be informed/alerted whenever an AI system generates unreliable/incorrect predictions. With the introduction of the Segment Anything Model (SAM), a general foundation segmentation model, new research opportunities emerged in how one can utilize SAM for medical image segmentation. In this paper, we propose a novel SQA method, called SQA-SAM, which exploits SAM to enhance the accuracy of quality assessment for medical image segmentation. When a medical image segmentation model (MedSeg) produces predictions for a test image, we generate visual prompts based on the predictions, and SAM is utilized to generate segmentation maps corresponding to the visual prompts. How well MedSeg’s segmentation aligns with SAM’s segmentation indicates how well MedSeg’s segmentation aligns with the general perception of objectness and image region partition. We develop a score measure for such alignment. In experiments, we find that the generated scores exhibit moderate to strong positive correlation (in Pearson correlation and Spearman correlation) with Dice coefficient scores reflecting the true segmentation quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google