SonoSAMTrack — Segment and Track Anything on Ultrasound Images

要約

この論文では、SonoSAMTrack を紹介します。これは、SonoSAM と呼ばれる、超音波画像上の対象オブジェクトをセグメンテーションするためのプロンプト対応の基本モデルと、2D+t および 3D 超音波データセット上でセグメンテーションを伝播する最先端の輪郭追跡モデルを組み合わせたものです。
SonoSAM は、約 20 万ドルの超音波画像マスクのペアからの豊富で多様なオブジェクトのセットのみで微調整およびテストされ、7 つの未確認の超音波データセットで最先端のパフォーマンスを実証し、競合する手法を大幅に上回ります。
マージン。
また、当社は SonoSAM を 2-D +t アプリケーションに拡張し、臨床ワークフローでの密な注釈や解剖学的構造のセグメンテーションを生成するための貴重なツールとなる優れたパフォーマンスを実証しています。
さらに、作業の実用性を高めるために、パフォーマンスを損なうことなく、より小さなフットプリントモデルへの知識の蒸留に続く微調整の 2 段階のプロセスを提案します。
SonoSAM と最先端の方法との詳細な定性的および定量的な比較を示し、この方法の有効性を示します。
続いて、SonoSAMTrack を使用した成人心臓超音波室セグメンテーションの高密度ビデオ アノテーション問題におけるクリック数の減少を実証します。

要約(オリジナル)

In this paper, we present SonoSAMTrack – that combines a promptable foundational model for segmenting objects of interest on ultrasound images called SonoSAM, with a state-of-the art contour tracking model to propagate segmentations on 2D+t and 3D ultrasound datasets. Fine-tuned and tested exclusively on a rich, diverse set of objects from $\approx200$k ultrasound image-mask pairs, SonoSAM demonstrates state-of-the-art performance on 7 unseen ultrasound data-sets, outperforming competing methods by a significant margin. We also extend SonoSAM to 2-D +t applications and demonstrate superior performance making it a valuable tool for generating dense annotations and segmentation of anatomical structures in clinical workflows. Further, to increase practical utility of the work, we propose a two-step process of fine-tuning followed by knowledge distillation to a smaller footprint model without comprising the performance. We present detailed qualitative and quantitative comparisons of SonoSAM with state-of-the-art methods showcasing efficacy of the method. This is followed by demonstrating the reduction in number of clicks in a dense video annotation problem of adult cardiac ultrasound chamber segmentation using SonoSAMTrack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google