Gaze-Assisted Medical Image Segmentation

要約

患者の臓器の注釈は、放射線治療計画などのさまざまな診断および治療手順において重要な部分です。
手動によるアノテーションは非常に時間がかかりますが、最新の画像分析技術を使用した自動化はまだ臨床で採用できるレベルに達していません。
この論文では、セグメンテーション補正のための対話型入力として人間の視線を使用する半教師あり医療画像セグメンテーションのアイデアを調査します。
特に、半自動セグメンテーション補正の追加入力としてさまざまなプロンプト タイプを使用する公開ソリューションである医療画像セグメント モデル (MedSAM) を微調整しました。
MedSAM を微調整するためのプロンプトとして、腹部画像の読み取りから得られる人間の視線データを使用しました。
このモデルは、16 の腹部臓器の 120 枚の CT スキャンで構成される公開 WORD データベースで検証されました。
視線支援型 MedSAM の結果は、最先端のセグメンテーション モデルの結果よりも優れていることが示されました。
特に、16 の腹部臓器の平均 Dice 係数は、nnUNetV2、ResUNet、オリジナルの MedSAM、および視線支援 MedSAM モデルでそれぞれ 85.8%、86.7%、81.7%、および 90.5% でした。

要約(オリジナル)

The annotation of patient organs is a crucial part of various diagnostic and treatment procedures, such as radiotherapy planning. Manual annotation is extremely time-consuming, while its automation using modern image analysis techniques has not yet reached levels sufficient for clinical adoption. This paper investigates the idea of semi-supervised medical image segmentation using human gaze as interactive input for segmentation correction. In particular, we fine-tuned the Segment Anything Model in Medical Images (MedSAM), a public solution that uses various prompt types as additional input for semi-automated segmentation correction. We used human gaze data from reading abdominal images as a prompt for fine-tuning MedSAM. The model was validated on a public WORD database, which consists of 120 CT scans of 16 abdominal organs. The results of the gaze-assisted MedSAM were shown to be superior to the results of the state-of-the-art segmentation models. In particular, the average Dice coefficient for 16 abdominal organs was 85.8%, 86.7%, 81.7%, and 90.5% for nnUNetV2, ResUNet, original MedSAM, and our gaze-assisted MedSAM model, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google