UniSeg: A Prompt-driven Universal Segmentation Model as well as A Strong Representation Learner

要約

【タイトル】UniSeg：プロンプト駆動の汎用セグメンテーションモデルと強力な表現学習者

【要約】

・UniSegは、様々なモダリティとドメインを使用したマルチタスク医用画像セグメンテーションのためのプロンプト駆動の汎用セグメンテーションモデルである。
・従来の汎用モデルは、タスクをワンホットベクトルとしてエンコードしてから、デコーダーの最後に動的畳み込み層を生成し、興味のあるターゲットを抽出する方法であったが、タスク間の相関関係を無視し、モデルをそのタスクに「意識」させることが遅れるという問題があった。
・UniSegは、全タスク間の相関関係を記述する学習可能な汎用プロンプトを考案し、このプロンプトと画像特徴をタスク固有のプロンプトに変換してデコーダーに入力することで、モデルを早期に「意識」させ、デコーダー全体のタスク固有のトレーニングを促進する。
・UniSegは、11のアップストリームタスクで他の汎用モデルおよびシングルタスクモデルを凌駕する結果を示し、さらに、UniSegは2つのダウンストリームデータセットで他の事前学習モデルよりも優れた性能を発揮し、高品質な事前学習モデルを提供する。
・コードとモデルは、https://github.com/yeerwen/UniSegで入手可能。

要約(オリジナル)

The universal model emerges as a promising trend for medical image segmentation, paving up the way to build medical imaging large model (MILM). One popular strategy to build universal models is to encode each task as a one-hot vector and generate dynamic convolutional layers at the end of the decoder to extract the interested target. Although successful, it ignores the correlations among tasks and meanwhile is too late to make the model ‘aware’ of the ongoing task. To address both issues, we propose a prompt-driven Universal Segmentation model (UniSeg) for multi-task medical image segmentation using diverse modalities and domains. We first devise a learnable universal prompt to describe the correlations among all tasks and then convert this prompt and image features into a task-specific prompt, which is fed to the decoder as a part of its input. Thus, we make the model ‘aware’ of the ongoing task early and boost the task-specific training of the whole decoder. Our results indicate that the proposed UniSeg outperforms other universal models and single-task models on 11 upstream tasks. Moreover, UniSeg also beats other pre-trained models on two downstream datasets, providing the community with a high-quality pre-trained model for 3D medical image segmentation. Code and model are available at https://github.com/yeerwen/UniSeg.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI