The Power of Combining Data and Knowledge: GPT-4o is an Effective Interpreter of Machine Learning Models in Predicting Lymph Node Metastasis of Lung Cancer

要約

リンパ節転移（LNM）は、肺がん患者の初期治療を決定する重要な要素であるが、LNMの正確な術前診断は依然として困難である。近年、大規模言語モデル(LLM)は、その卓越したテキスト生成能力により大きな注目を集めている。膨大なコーパスから学習された広範な医学知識を活用することで、LLMは臨床問題の確率を推定することができるが、その性能はこれまでデータ駆動型の機械学習モデルに劣っていた。本論文では、LLMが獲得した医学知識と機械学習モデルによって識別された潜在パターンを組み合わせることで、LNM予測性能を向上させる新しいアンサンブル手法を提案する。最初に、我々は患者データを用いて機械学習モデルを開発した。次に、患者データと機械学習モデルによる予測確率を統合するためのプロンプト・テンプレートを設計した。その後、OpenAIが開発した最先端のLLMであるGPT-4oに、患者データに基づいてLNMの尤度を推定するよう指示し、機械学習の出力を用いて推定値を調整した。最後に、GPT-4oから同じプロンプトを用いて3つの出力を収集し、これらの結果を最終予測としてアンサンブルした。提案された方法を用いることで、我々のモデルはLNM予測においてAUC値0.765、AP値0.415を達成し、ベースラインの機械学習モデルと比較して予測性能が大幅に向上した。実験結果は、GPT-4oが、より正確なLNM予測を達成するために、医学的知識と機械学習モデルによって予測された確率を効果的に活用できることを示している。これらの知見は、LLMが臨床リスク予測タスクにおいて優れた性能を発揮できることを示しており、臨床予測において医学知識と患者データを統合するための新しいパラダイムを提供するものである。

要約(オリジナル)

Lymph node metastasis (LNM) is a crucial factor in determining the initial treatment for patients with lung cancer, yet accurate preoperative diagnosis of LNM remains challenging. Recently, large language models (LLMs) have garnered significant attention due to their remarkable text generation capabilities. Leveraging the extensive medical knowledge learned from vast corpora, LLMs can estimate probabilities for clinical problems, though their performance has historically been inferior to data-driven machine learning models. In this paper, we propose a novel ensemble method that combines the medical knowledge acquired by LLMs with the latent patterns identified by machine learning models to enhance LNM prediction performance. Initially, we developed machine learning models using patient data. We then designed a prompt template to integrate the patient data with the predicted probability from the machine learning model. Subsequently, we instructed GPT-4o, the most advanced LLM developed by OpenAI, to estimate the likelihood of LNM based on patient data and then adjust the estimate using the machine learning output. Finally, we collected three outputs from the GPT-4o using the same prompt and ensembled these results as the final prediction. Using the proposed method, our models achieved an AUC value of 0.765 and an AP value of 0.415 for LNM prediction, significantly improving predictive performance compared to baseline machine learning models. The experimental results indicate that GPT-4o can effectively leverage its medical knowledge and the probabilities predicted by machine learning models to achieve more accurate LNM predictions. These findings demonstrate that LLMs can perform well in clinical risk prediction tasks, offering a new paradigm for integrating medical knowledge and patient data in clinical predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL