MiniGPT-Pancreas: Multimodal Large Language Model for Pancreas Cancer Classification and Detection

要約

問題点: 膵臓のサイズが小さく、境界がぼやけており、患者ごとに臓器の形状や位置が異なるため、膵臓の放射線画像撮影は困難です。
目標: この研究では、視覚情報とテキスト情報を統合することで臨床医の膵臓がん診断をサポートする対話型チャットボットとして、マルチモーダル大規模言語モデル (MLLM) である MiniGPT-Pancreas を紹介します。
方法: 汎用 MLLM である MiniGPT-v2 は、質問と国立衛生研究所 (NIH) からのコンピューター断層撮影スキャンを組み合わせたマルチモーダル プロンプトを使用して、膵臓の検出、腫瘍の分類、および腫瘍の検出のためにカスケード方式で微調整されました。
Medical Segmentation Decathlon (MSD) データセット。
AbdomenCT-1k データセットは、肝臓、脾臓、腎臓、膵臓の検出に使用されました。
結果: MiniGPT-Pancreas は、NIH データセットおよび MSD データセットでの膵臓の検出に関して、それぞれ 0.595 および 0.550 の和集合 (IoU) を達成しました。
MSD データセットの膵臓がん分類タスクでは、精度、精度、再現率はそれぞれ 0.876、0.874、0.878 でした。
多臓器検出のために AbdomenCT-1k データセットで MiniGPT-膵臓を評価した場合、IoU は肝臓で 0.8399、腎臓で 0.722、脾臓で 0.705、膵臓で 0.497 でした。
膵臓腫瘍検出タスクの場合、MSD データセットの IoU スコアは 0.168 でした。
結論: MiniGPT-Pancreas は、膵臓腫瘍による膵臓画像の分類において臨床医をサポートする有望なソリューションです。
特に膵臓腫瘍の検出タスクのスコアを改善するには、今後の研究が必要です。

要約(オリジナル)

Problem: Pancreas radiological imaging is challenging due to the small size, blurred boundaries, and variability of shape and position of the organ among patients. Goal: In this work we present MiniGPT-Pancreas, a Multimodal Large Language Model (MLLM), as an interactive chatbot to support clinicians in pancreas cancer diagnosis by integrating visual and textual information. Methods: MiniGPT-v2, a general-purpose MLLM, was fine-tuned in a cascaded way for pancreas detection, tumor classification, and tumor detection with multimodal prompts combining questions and computed tomography scans from the National Institute of Health (NIH), and Medical Segmentation Decathlon (MSD) datasets. The AbdomenCT-1k dataset was used to detect the liver, spleen, kidney, and pancreas. Results: MiniGPT-Pancreas achieved an Intersection over Union (IoU) of 0.595 and 0.550 for the detection of pancreas on NIH and MSD datasets, respectively. For the pancreas cancer classification task on the MSD dataset, accuracy, precision, and recall were 0.876, 0.874, and 0.878, respectively. When evaluating MiniGPT-Pancreas on the AbdomenCT-1k dataset for multi-organ detection, the IoU was 0.8399 for the liver, 0.722 for the kidney, 0.705 for the spleen, and 0.497 for the pancreas. For the pancreas tumor detection task, the IoU score was 0.168 on the MSD dataset. Conclusions: MiniGPT-Pancreas represents a promising solution to support clinicians in the classification of pancreas images with pancreas tumors. Future research is needed to improve the score on the detection task, especially for pancreas tumors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google