MedLSAM: Localize and Segment Anything Model for 3D Medical Images

要約

Segment Anything Model (SAM) は、画像セグメンテーションの分野における画期的なモデルとして最近登場しました。
それにもかかわらず、元の SAM とその医療適応の両方でスライスごとのアノテーションが必要となり、データセットのサイズに応じてアノテーションの作業負荷が直接増加します。
私たちは、この問題に対処し、データセットのサイズに関係なく一定のアノテーション ワークロードを確保し、それによってアノテーション プロセスを簡素化する MedLSAM を提案します。
私たちのモデルは、体内のあらゆる標的解剖学的部分の位置を特定できる数ショット位置特定フレームワークを導入しています。
これを達成するために、14,012 CT スキャンの包括的なデータセットにわたる相対距離回帰 (RDR) とマルチスケール類似性 (MSS) という 2 つの自己監視タスクを利用して、3D 医用画像用ローカライズ エニシング モデル (MedLAM) を開発しました。
次に、MedLAM と SAM を統合することで、正確なセグメンテーションの方法論を確立します。
いくつかのテンプレート上で 3 方向にわたる 6 つの極点のみに注釈を付けることにより、私たちのモデルは、注釈が付けられるようにスケジュールされたすべてのデータ上のターゲットの解剖学的領域を自律的に識別できます。
これにより、フレームワークが画像のすべてのスライスに対して 2D 境界ボックスを生成できるようになり、SAM はこれを利用してセグメンテーションを実行します。
私たちは 38 の臓器をカバーする 2 つの 3D データセットで実験を行ったところ、MedLSAM が SAM とその医療適応のパフォーマンスに匹敵し、データセット全体に対して最小限の極点アノテーションのみを必要とすることがわかりました。
さらに、MedLAM は将来の 3D SAM モデルとシームレスに統合できる可能性があり、パフォーマンス向上への道が開かれます。
私たちのコードは \href{https://github.com/openmedlab/MedLSAM}{https://github.com/openmedlab/MedLSAM} で公開されています。

要約(オリジナル)

The Segment Anything Model (SAM) has recently emerged as a groundbreaking model in the field of image segmentation. Nevertheless, both the original SAM and its medical adaptations necessitate slice-by-slice annotations, which directly increase the annotation workload with the size of the dataset. We propose MedLSAM to address this issue, ensuring a constant annotation workload irrespective of dataset size and thereby simplifying the annotation process. Our model introduces a few-shot localization framework capable of localizing any target anatomical part within the body. To achieve this, we develop a Localize Anything Model for 3D Medical Images (MedLAM), utilizing two self-supervision tasks: relative distance regression (RDR) and multi-scale similarity (MSS) across a comprehensive dataset of 14,012 CT scans. We then establish a methodology for accurate segmentation by integrating MedLAM with SAM. By annotating only six extreme points across three directions on a few templates, our model can autonomously identify the target anatomical region on all data scheduled for annotation. This allows our framework to generate a 2D bounding box for every slice of the image, which are then leveraged by SAM to carry out segmentations. We conducted experiments on two 3D datasets covering 38 organs and found that MedLSAM matches the performance of SAM and its medical adaptations while requiring only minimal extreme point annotations for the entire dataset. Furthermore, MedLAM has the potential to be seamlessly integrated with future 3D SAM models, paving the way for enhanced performance. Our code is public at \href{https://github.com/openmedlab/MedLSAM}{https://github.com/openmedlab/MedLSAM}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google