Boosting Transformers and Language Models for Clinical Prediction in Immunotherapy

要約

臨床予測は、ヘルスケア業界において不可欠なタスクです。
ただし、大規模な言語モデルが構築されるトランスフォーマーの最近の成功は、このドメインには拡張されていません。
この研究では、実際の患者の臨床データと分子プロファイルを使用して、免疫療法の予後予測におけるトランスフォーマーと言語モデルの使用を探ります。
この論文では、トランスフォーマーが従来の機械学習アプローチと比較して臨床予測を改善する可能性を調査し、希少疾患領域の予測における少数ショット学習の課題に取り組んでいます。
この研究では、複数のがんタイプにわたる予後予測に対するベースラインと言語モデルの有効性をベンチマークし、少数ショット体制の下でのさまざまな事前トレーニング済み言語モデルの影響を調査しています。
この結果は、精度の大幅な改善を示しており、さまざまな疾患の早期発見と介入を改善する臨床研究における NLP の可能性を浮き彫りにしています。
匿名コードは、\url{https://anonymous.4open.science/r/table2text-88ED} で入手できます。

要約(オリジナル)

Clinical prediction is an essential task in the healthcare industry. However, the recent success of transformers, on which large language models are built, has not been extended to this domain. In this research, we explore the use of transformers and language models in prognostic prediction for immunotherapy using real-world patients’ clinical data and molecular profiles. This paper investigates the potential of transformers to improve clinical prediction compared to conventional machine learning approaches and addresses the challenge of few-shot learning in predicting rare disease areas. The study benchmarks the efficacy of baselines and language models on prognostic prediction across multiple cancer types and investigates the impact of different pretrained language models under few-shot regimes. The results demonstrate significant improvements in accuracy and highlight the potential of NLP in clinical research to improve early detection and intervention for different diseases. Anonymous codes are available at \url{https://anonymous.4open.science/r/table2text-88ED}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google