LLM-driven Multimodal Target Volume Contouring in Radiation Oncology

要約

放射線治療における標的体積の輪郭抽出は、画像とテキストベースの臨床情報の両方を利用する必要があるため、通常の臓器分割タスクよりも難易度が高いと考えられている。テキスト情報と画像の統合を容易にする大規模言語モデル（LLM）の最近の進歩に触発され、我々は、臨床テキスト情報を利用し、放射線治療の標的体積輪郭抽出という困難なタスクに適用可能な、新しいLLM駆動型マルチモーダルAIを提示し、乳癌放射線治療の標的体積輪郭抽出の文脈で検証する。実世界での応用に非常に適した外部検証やデータ不足の環境を用いて、提案モデルが従来の視覚のみのAIモデルと比較して著しく性能が向上し、特に頑健な汎化性能とデータ効率を示すことを実証する。我々の知る限り、これは、放射線腫瘍学のための標的体積描出に臨床テキスト情報を統合する、初のLLM駆動マルチモーダルAIモデルである。

要約(オリジナル)

Target volume contouring for radiation therapy is considered significantly more challenging than the normal organ segmentation tasks as it necessitates the utilization of both image and text-based clinical information. Inspired by the recent advancement of large language models (LLMs) that can facilitate the integration of the textural information and images, here we present a novel LLM-driven multi-modal AI that utilizes the clinical text information and is applicable to the challenging task of target volume contouring for radiation therapy, and validate it within the context of breast cancer radiation therapy target volume contouring. Using external validation and data-insufficient environments, which attributes highly conducive to real-world applications, we demonstrate that the proposed model exhibits markedly improved performance compared to conventional vision-only AI models, particularly exhibiting robust generalization performance and data-efficiency. To our best knowledge, this is the first LLM-driven multimodal AI model that integrates the clinical text information into target volume delineation for radiation oncology.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL