RO-LLaMA: Generalist LLM for Radiation Oncology via Noise Augmentation and Consistency Regularization

要約

人工知能 (AI) の最近の進歩は、臨床作業負荷を軽減するツールを提供することで、医療分野に大きな影響を与えています。
ただし、ほとんどの AI モデルは、医療専門家が利用する包括的なアプローチとは対照的に、単一モーダルなタスクを実行するように制約されています。
これに対処するために、ここでは放射線腫瘍学の分野に合わせて調整された汎用性の高い汎用大規模言語モデル (LLM) である RO-LLaMA を紹介します。
このモデルは、放射線腫瘍医の幅広いワークフローをシームレスにカバーし、臨床レポートの要約、放射線治療計画の提案、計画に基づいた治療目標ボリュームのセグメンテーションなどのさまざまなタスクに熟達しています。
特に、エンドツーエンドのパフォーマンスを最大化するために、新しい Consistency Embedding Fine-Tuning (CEFTune) 手法をさらに提示します。これにより、クリーンな入力を処理する能力を維持しながら、中間での追加エラーに対する LLM の堅牢性が向上し、創造的に変換します。
この概念は、Consistency Embedding Segmentation (CESEG) として LLM 主導のセグメンテーション フレームワークに組み込まれます。
多施設コホートセットに関する実験結果は、一般化機能を備えた多様なタスクに対する私たちが提案するRO-LLaMAの有望なパフォーマンスを実証しています。

要約(オリジナル)

Recent advancements in Artificial Intelligence (AI) have profoundly influenced medical fields, by providing tools to reduce clinical workloads. However, most AI models are constrained to execute uni-modal tasks, in stark contrast to the comprehensive approaches utilized by medical professionals. To address this, here we present RO-LLaMA, a versatile generalist large language model (LLM) tailored for the field of radiation oncology. This model seamlessly covers a wide range of the workflow of radiation oncologists, adept at various tasks such as clinical report summarization, radiation therapy plan suggestion, and plan-guided therapy target volume segmentation. In particular, to maximize the end-to-end performance, we further present a novel Consistency Embedding Fine-Tuning (CEFTune) technique, which boosts LLM’s robustness to additional errors at the intermediates while preserving the capability of handling clean inputs, and creatively transform this concept into LLM-driven segmentation framework as Consistency Embedding Segmentation (CESEG). Experimental results on multi-centre cohort sets demonstrate our proposed RO-LLaMA’s promising performance for diverse tasks with generalization capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google