ProtoSAM – One Shot Medical Image Segmentation With Foundational Models

要約

この研究では、ワンショット医療画像セグメンテーションのための新しいフレームワークである ProtoSAM を導入しています。
これは、少数ショット セグメンテーションで知られるプロトタイプ ネットワークの使用と、自然画像基盤モデルである SAM を組み合わせたものです。
提案された方法では、DINOv2 エンコーダで強化された ALPnet プロトタイプ ネットワークを使用して、初期の粗セグメンテーション マスクを作成します。
初期マスクの抽出に続いて、点や境界ボックスなどのプロンプトが抽出され、これらがセグメント何でもモデル (SAM) に入力されます。
最先端の結果がいくつかの医用画像データセットで表示され、基礎モデルを微調整する必要なく、単一の画像例 (ワンショット) を使用して自動セグメンテーション機能を実証します。

要約(オリジナル)

This work introduces a new framework, ProtoSAM, for one-shot medical image segmentation. It combines the use of prototypical networks, known for few-shot segmentation, with SAM – a natural image foundation model. The method proposed creates an initial coarse segmentation mask using the ALPnet prototypical network, augmented with a DINOv2 encoder. Following the extraction of an initial mask, prompts are extracted, such as points and bounding boxes, which are then input into the Segment Anything Model (SAM). State-of-the-art results are shown on several medical image datasets and demonstrate automated segmentation capabilities using a single image example (one shot) with no need for fine-tuning of the foundation model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google