MultiverSeg: Scalable Interactive Segmentation of Biomedical Imaging Datasets with In-Context Guidance

要約

医学研究者や臨床医は、多くの場合、一連の関連画像に対して新しいセグメンテーション タスクを実行する必要があります。
新しいデータセットをセグメント化する既存の方法は、対話型で画像ごとに多大な労力を必要とするか、手動でラベルを付けた既存の画像セットを必要とするかのいずれかです。
私たちは、実務者がタスクやドメインの既存のラベル付きデータにアクセスすることなく、新しいデータセット全体を迅速にセグメント化できるシステム MultiverSeg を導入します。
モデルは、セグメント化する画像とともに、クリック、境界ボックス、落書きなどのユーザー インタラクションを入力として受け取り、セグメンテーションを予測します。
ユーザーがさらに多くの画像をセグメント化すると、それらの画像とセグメント化がモデルへの追加入力となり、コンテキストが提供されます。
ラベル付き画像のコンテキスト セットが増加するにつれて、新しい画像をそれぞれセグメント化するために必要なインタラクションの数が減少します。
私たちは、MultiverSeg を使用すると、画像ごとのインタラクション数を償却して正確なセグメンテーションを実現することにより、ユーザーが新しいデータセットをインタラクティブに効率的にセグメント化できることを実証します。
最先端のインタラクティブ セグメンテーション手法を使用する場合と比較して、MultiverSeg を使用すると、落書きステップの総数が 53% 削減され、クリック数が 36% 削減され、目に見えないタスクからの画像セットで 90% のサイコロを達成できました。
コードとモデルの重みは https://multiverseg.csail.mit.edu でリリースされます。

要約(オリジナル)

Medical researchers and clinicians often need to perform novel segmentation tasks on a set of related images. Existing methods for segmenting a new dataset are either interactive, requiring substantial human effort for each image, or require an existing set of manually labeled images. We introduce a system, MultiverSeg, that enables practitioners to rapidly segment an entire new dataset without requiring access to any existing labeled data from that task or domain. Along with the image to segment, the model takes user interactions such as clicks, bounding boxes or scribbles as input, and predicts a segmentation. As the user segments more images, those images and segmentations become additional inputs to the model, providing context. As the context set of labeled images grows, the number of interactions required to segment each new image decreases. We demonstrate that MultiverSeg enables users to interactively segment new datasets efficiently, by amortizing the number of interactions per image to achieve an accurate segmentation. Compared to using a state-of-the-art interactive segmentation method, using MultiverSeg reduced the total number of scribble steps by 53% and clicks by 36% to achieve 90% Dice on sets of images from unseen tasks. We release code and model weights at https://multiverseg.csail.mit.edu

arxiv情報

提供元, 利用サービス

arxiv.jp, Google