ScribblePrompt: Fast and Flexible Interactive Segmentation for Any Medical Image

要約

セマンティック医療画像セグメンテーションは、科学研究と臨床ケアの両方において重要な部分です。
十分なラベル付きデータがあれば、深層学習モデルをトレーニングして、特定の医療画像セグメンテーション タスクを正確に自動化できます。
ただし、画像を手動でセグメント化してトレーニング データを作成するのは非常に労力がかかります。
この論文では、ヒューマン アノテーターが落書き、クリック、および境界ボックスを使用して目に見えない構造をセグメント化できるようにする医療画像用の対話型セグメンテーション フレームワークである ScribblePrompt を紹介します。
スクリブルは、複雑なタスクに対するユーザー インタラクションの直感的で効果的な形式ですが、既存の方法のほとんどはクリックベースのインタラクションに重点を置いています。
複数の種類のインタラクションに適したトレーニング モデルを可能にする、現実的な落書きをシミュレートするアルゴリズムを導入します。
新しいタスクへの一般化を達成するために、実際のラベルと合成ラベルの両方を使用して、65 のオープンアクセス生物医学データセットの多様なコレクションをトレーニングします。
私たちは、複数のネットワーク アーキテクチャと目に見えないデータセットで ScribblePrompt をテストし、単一の CPU でリアルタイムで使用できることを実証します。
私たちは、手動で収集した落書き、シミュレートされたインタラクション、およびユーザー調査を使用して ScribblePrompt を評価します。
ScribblePrompt は、すべての評価において既存の方法を上回っています。
ユーザー調査では、既存の方法と比較して、ScribblePrompt は注釈時間を 28% 短縮し、Dice を 15% 改善しました。
オンライン デモで ScribblePrompt を紹介し、https://scribbleprompt.csail.mit.edu でコードを提供します。

要約(オリジナル)

Semantic medical image segmentation is a crucial part of both scientific research and clinical care. With enough labelled data, deep learning models can be trained to accurately automate specific medical image segmentation tasks. However, manually segmenting images to create training data is highly labor intensive. In this paper, we present ScribblePrompt, an interactive segmentation framework for medical imaging that enables human annotators to segment unseen structures using scribbles, clicks, and bounding boxes. Scribbles are an intuitive and effective form of user interaction for complex tasks, however most existing methods focus on click-based interactions. We introduce algorithms for simulating realistic scribbles that enable training models that are amenable to multiple types of interaction. To achieve generalization to new tasks, we train on a diverse collection of 65 open-access biomedical datasets — using both real and synthetic labels. We test ScribblePrompt on multiple network architectures and unseen datasets, and demonstrate that it can be used in real-time on a single CPU. We evaluate ScribblePrompt using manually-collected scribbles, simulated interactions, and a user study. ScribblePrompt outperforms existing methods in all our evaluations. In the user study, ScribblePrompt reduced annotation time by 28% while improving Dice by 15% compared to existing methods. We showcase ScribblePrompt in an online demo and provide code at https://scribbleprompt.csail.mit.edu

arxiv情報

提供元, 利用サービス

arxiv.jp, Google