ClickSAM: Fine-tuning Segment Anything Model using click prompts for ultrasound image segmentation

要約

新しくリリースされた Segment Anything Model (SAM) は、優れたセグメンテーション精度、さまざまな入力プロンプト、トレーニング機能、効率的なモデル設計により、画像処理で使用される人気のツールです。
ただし、現在のモデルは、医療画像、特に超音波画像に合わせて調整されていない多様なデータセットでトレーニングされています。
超音波画像にはノイズが多く含まれる傾向があるため、重要な構造をセグメント化することが困難になります。
このプロジェクトでは、超音波画像のクリック プロンプトを使用してセグメント何でもモデルを微調整する ClickSAM を開発しました。
ClickSAM には 2 つのトレーニング段階があります。第 1 段階では、グラウンドトゥルース輪郭を中心としたシングルクリック プロンプトでトレーニングされ、第 2 段階では、追加のポジティブおよびネガティブ クリック プロンプトを通じてモデルのパフォーマンスを向上させることに焦点を当てています。
第 1 段階の予測をグラウンド トゥルース マスクと比較することにより、真陽性、偽陽性、および偽陰性のセグメントが計算されます。
ポジティブ クリックは真陽性セグメントと偽陰性セグメントを使用して生成され、ネガティブ クリックは偽陽性セグメントを使用して生成されます。
次に、重心ボロノイ テッセレーション アルゴリズムを使用して、各セグメントの正および負のクリック プロンプトを収集し、トレーニングの第 2 段階でモデルのパフォーマンスを向上させるために使用されます。
ClickSAM は、クリックトレイン方式により、超音波画像セグメンテーションにおいて他の既存モデルと比較して優れたパフォーマンスを発揮します。

要約(オリジナル)

The newly released Segment Anything Model (SAM) is a popular tool used in image processing due to its superior segmentation accuracy, variety of input prompts, training capabilities, and efficient model design. However, its current model is trained on a diverse dataset not tailored to medical images, particularly ultrasound images. Ultrasound images tend to have a lot of noise, making it difficult to segment out important structures. In this project, we developed ClickSAM, which fine-tunes the Segment Anything Model using click prompts for ultrasound images. ClickSAM has two stages of training: the first stage is trained on single-click prompts centered in the ground-truth contours, and the second stage focuses on improving the model performance through additional positive and negative click prompts. By comparing the first stage predictions to the ground-truth masks, true positive, false positive, and false negative segments are calculated. Positive clicks are generated using the true positive and false negative segments, and negative clicks are generated using the false positive segments. The Centroidal Voronoi Tessellation algorithm is then employed to collect positive and negative click prompts in each segment that are used to enhance the model performance during the second stage of training. With click-train methods, ClickSAM exhibits superior performance compared to other existing models for ultrasound image segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google