CohortGPT: An Enhanced GPT for Participant Recruitment in Clinical Study

要約

臨床ノートや放射線医学レポートなどの非構造化医療テキストに基づいて参加者を募集することは、臨床研究におけるコホート確立にとって困難ではあるものの重要な課題となっています。
最近、ChatGPT などの大規模言語モデル (LLM) は、言語の理解、推論、生成における有望なパフォーマンスのおかげで、さまざまなダウンストリーム タスクで多大な成功を収めています。
したがって、医学文書の特定の段落を疾患ラベルに分類することを含むコホート募集タスクを解決する際に、その実現可能性をテストするのは自然なことです。
しかし、LLM が人間の専門家によって下された決定を理解し、暗示される疾患ラベルを正確に識別することが期待される医学文書分類などの知識集約型の問題設定に適用すると、LLM は平凡なパフォーマンスを示します。
考えられる説明は、LLM が医学テキストのみを使用することで、言語が提供する追加情報の豊富なコンテキストの使用を無視しているということです。
この目的を達成するために、LLM が予測を行う際のガイドとなる補助情報としてナレッジ グラフを使用することを提案します。
さらに、問題設定への LLM の適応をさらに高めるために、強化学習によって強化された思考連鎖 (CoT) サンプル選択戦略を適用します。これにより、個々の医療レポートが与えられた一連の CoT サンプルが選択されます。
実験結果とさまざまなアブレーション研究は、私たちの数ショット学習方法が微調整戦略と比較して満足のいくパフォーマンスを達成し、利用可能なデータが限られている場合に優れた利点を得ることができることを示しています。
提案された CohortGPT モデルのコードとサンプル データセットは、https://anonymous.4open.science/r/CohortGPT-4872/ から入手できます。

要約(オリジナル)

Participant recruitment based on unstructured medical texts such as clinical notes and radiology reports has been a challenging yet important task for the cohort establishment in clinical research. Recently, Large Language Models (LLMs) such as ChatGPT have achieved tremendous success in various downstream tasks thanks to their promising performance in language understanding, inference, and generation. It is then natural to test their feasibility in solving the cohort recruitment task, which involves the classification of a given paragraph of medical text into disease label(s). However, when applied to knowledge-intensive problem settings such as medical text classification, where the LLMs are expected to understand the decision made by human experts and accurately identify the implied disease labels, the LLMs show a mediocre performance. A possible explanation is that, by only using the medical text, the LLMs neglect to use the rich context of additional information that languages afford. To this end, we propose to use a knowledge graph as auxiliary information to guide the LLMs in making predictions. Moreover, to further boost the LLMs adapt to the problem setting, we apply a chain-of-thought (CoT) sample selection strategy enhanced by reinforcement learning, which selects a set of CoT samples given each individual medical report. Experimental results and various ablation studies show that our few-shot learning method achieves satisfactory performance compared with fine-tuning strategies and gains superb advantages when the available data is limited. The code and sample dataset of the proposed CohortGPT model is available at: https://anonymous.4open.science/r/CohortGPT-4872/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google