GMISeg: General Medical Image Segmentation without Re-Training

要約

深層学習モデルは、医療画像のセグメンテーションの主流の方法となっています。
ただし、新しい解剖学的構造、ラベル、形状を含む未知のタスクに一般化するのに苦労することがよくあります。
このような場合、新しいタスクに合わせてモデルを再トレーニングする必要があり、機械学習の専門家ではない人にとっては大きな課題となり、かなりの時間の投資が必要になります。
ここで私は、追加のトレーニングを必要とせずに未知の医用画像セグメンテーション タスクを解決できる一般的なモデルを開発しました。
新しいセグメンテーション タスクを定義するための画像と視覚的なプロンプトのサンプル セットが与えられると、GMISeg (一般医用画像セグメンテーション) は、ViT に基づいて事前トレーニングされた画像エンコーダーを活用し、プロンプト エンコーダーとマスク デコーダーに低ランクの微調整戦略を適用して、
効率的な方法でモデルを微調整する必要はありません。
私は、さまざまな画像モダリティと解剖学的構造を備えた医療画像データセットに対する提案された方法のパフォーマンスを評価しました。
提案された方法により、ユーザーフレンドリーな方法で、事前トレーニングされた AI モデルを新しいセグメンテーション作業に展開することが容易になりました。

要約(オリジナル)

Deep learning models have become the dominant method for medical image segmentation. However, they often struggle to be generalisable to unknown tasks involving new anatomical structures, labels, or shapes. In these cases, the model needs to be re-trained for the new tasks, posing a significant challenge for non-machine learning experts and requiring a considerable time investment. Here I developed a general model that can solve unknown medical image segmentation tasks without requiring additional training. Given an example set of images and visual prompts for defining new segmentation tasks, GMISeg (General Medical Image Segmentation) leverages a pre-trained image encoder based on ViT and applies a low-rank fine-tuning strategy to the prompt encoder and mask decoder to fine-tune the model without in an efficient manner. I evaluated the performance of the proposed method on medical image datasets with different imaging modalities and anatomical structures. The proposed method facilitated the deployment of pre-trained AI models to new segmentation works in a user-friendly way.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google