Language Models are Few-shot Learners for Prognostic Prediction

要約

臨床予測は、ヘルスケア産業において不可欠なタスクである。しかし、大規模な言語モデルを構築するトランスフォーマーの最近の成功は、このドメインに拡張されていない。本研究では、現実の患者の臨床データと分子プロファイルを用いて、免疫療法の予後予測におけるトランスフォーマーと言語モデルの利用を検討する。従来の機械学習アプローチと比較して、臨床予測を改善するトランスフォーマーの可能性を調査し、希少疾患領域の予測における数撃ちゃ当たるの課題に対処する。本研究では、複数のがん種にわたる予後予測におけるベースラインと言語モデルの有効性をベンチマークし、少数ショット体制下での異なる事前学習済み言語モデルの影響を調査する。その結果、精度の大幅な向上が実証され、さまざまな疾患の早期発見と介入を改善するための臨床研究におけるNLPの可能性が強調されました。

要約(オリジナル)

Clinical prediction is an essential task in the healthcare industry. However, the recent success of transformers, on which large language models are built, has not been extended to this domain. In this research, we explore the use of transformers and language models in prognostic prediction for immunotherapy using real-world patients’ clinical data and molecular profiles. This paper investigates the potential of transformers to improve clinical prediction compared to conventional machine learning approaches and addresses the challenge of few-shot learning in predicting rare disease areas. The study benchmarks the efficacy of baselines and language models on prognostic prediction across multiple cancer types and investigates the impact of different pretrained language models under few-shot regimes. The results demonstrate significant improvements in accuracy and highlight the potential of NLP in clinical research to improve early detection and intervention for different diseases.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL