Language Models are Few-shot Learners for Prognostic Prediction

要約

タイトル：言語モデルは予後予測のfew-shot学習者である

要約：

– 予後予測は医療業界で重要なタスクであるが、最近の大規模言語モデルに基づくトランスフォーマーの成功は、この分野にはまだ広がっていない。
– この研究では、トランスフォーマーと言語モデルを、現実の患者の臨床データや分子プロファイルを用いた免疫療法の予後予測に使用することを探求する。
– 本論文は、従来の機械学習アプローチに比べて、トランスフォーマーが臨床予測を改善する可能性を探り、レアな疾患領域の予測におけるfew-shot学習の課題にも取り組む。
– この研究は、複数のがんタイプにわたって予後予測の効果をベンチマークにし、少数のサンプルで学習する場合に異なる事前学習された言語モデルがどのような影響を与えるかを調査する。
– 結果は、精度の大幅な向上を示し、NLPが臨床研究において早期の検出や介入を改善する可能性を示唆する。

要約(オリジナル)

Clinical prediction is an essential task in the healthcare industry. However, the recent success of transformers, on which large language models are built, has not been extended to this domain. In this research, we explore the use of transformers and language models in prognostic prediction for immunotherapy using real-world patients’ clinical data and molecular profiles. This paper investigates the potential of transformers to improve clinical prediction compared to conventional machine learning approaches and addresses the challenge of few-shot learning in predicting rare disease areas. The study benchmarks the efficacy of baselines and language models on prognostic prediction across multiple cancer types and investigates the impact of different pretrained language models under few-shot regimes. The results demonstrate significant improvements in accuracy and highlight the potential of NLP in clinical research to improve early detection and intervention for different diseases.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI