LLM-driven Multimodal Target Volume Contouring in Radiation Oncology

要約

放射線治療のためのターゲットボリューム輪郭作成は、画像とテキストベースの臨床情報の両方を利用する必要があるため、通常の臓器セグメンテーションタスクよりもはるかに困難であると考えられています。
テクスチャ情報と画像の統合を容易にするラージ言語モデル (LLM) の最近の進歩に触発されて、ここでは、臨床テキスト情報を利用し、次のような困難なタスクに適用できる、新しい LLM 駆動のマルチモーダル AI を紹介します。
放射線療法のターゲットボリュームコンタリングを作成し、乳がん放射線療法のターゲットボリュームコンタリングのコンテキスト内で検証します。
実世界のアプリケーションに非常に役立つ外部検証とデータ不足の環境を使用して、提案されたモデルが従来の視覚のみの AI モデルと比較して顕著に向上したパフォーマンスを示し、特に堅牢な汎化パフォーマンスとデータ効率を示すことを実証します。
私たちの知る限り、これは臨床テキスト情報を放射線腫瘍学のターゲットボリューム描写に統合する、LLM 駆動のマルチモーダル AI モデルとしては初めてです。

要約(オリジナル)

Target volume contouring for radiation therapy is considered significantly more challenging than the normal organ segmentation tasks as it necessitates the utilization of both image and text-based clinical information. Inspired by the recent advancement of large language models (LLMs) that can facilitate the integration of the textural information and images, here we present a novel LLM-driven multi-modal AI that utilizes the clinical text information and is applicable to the challenging task of target volume contouring for radiation therapy, and validate it within the context of breast cancer radiation therapy target volume contouring. Using external validation and data-insufficient environments, which attributes highly conducive to real-world applications, we demonstrate that the proposed model exhibits markedly improved performance compared to conventional vision-only AI models, particularly exhibiting robust generalization performance and data-efficiency. To our best knowledge, this is the first LLM-driven multimodal AI model that integrates the clinical text information into target volume delineation for radiation oncology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google