Automating Adjudication of Cardiovascular Events Using Large Language Models

要約

心臓発作や脳卒中などの心血管イベントは、臨床試験で細心の監視と裁定を必要とする、世界的な死亡率の主要な原因であり続けています。
伝統的に臨床専門家によって手動で実行されているこのプロセスは、時間がかかり、リソース集中的であり、レビュー間の変動性を発揮しやすく、バイアスを導入し、試験の進行を妨げる可能性があります。
この研究では、大規模な言語モデル（LLMS）を使用した臨床試験における心血管イベントの裁定を自動化するための新しいフレームワークを提示することにより、これらの重大な制限に対処します。
2段階のアプローチを開発しました。1つ目は、非構造化された臨床データからのイベント情報抽出のためにLLMベースのパイプラインを採用し、2つ目は、Tree of Thoughtのアプローチと臨床エンドポイント委員会（CEC）ガイドラインによって導かれるLLMベースの裁定プロセスを使用して使用します。
心血管イベント固有の臨床試験データを使用して、フレームワークはイベント抽出のために0.82のF1スコアと、裁定で0.68の精度を達成しました。
さらに、心血管イベントの裁定におけるAI生成された臨床推論の品質を評価するために特別に設計された新しい、自動化されたメトリックであるCleartスコアを導入します。
このアプローチは、臨床試験で高品質、一貫した、監査可能な結果を​​維持しながら、裁定の時間とコストを大幅に削減するための重要な可能性を示しています。
変動性の低下と標準化の強化により、心血管療法に関連するリスクのより速い識別と緩和も可能になります。

要約(オリジナル)

Cardiovascular events, such as heart attacks and strokes, remain a leading cause of mortality globally, necessitating meticulous monitoring and adjudication in clinical trials. This process, traditionally performed manually by clinical experts, is time-consuming, resource-intensive, and prone to inter-reviewer variability, potentially introducing bias and hindering trial progress. This study addresses these critical limitations by presenting a novel framework for automating the adjudication of cardiovascular events in clinical trials using Large Language Models (LLMs). We developed a two-stage approach: first, employing an LLM-based pipeline for event information extraction from unstructured clinical data and second, using an LLM-based adjudication process guided by a Tree of Thoughts approach and clinical endpoint committee (CEC) guidelines. Using cardiovascular event-specific clinical trial data, the framework achieved an F1-score of 0.82 for event extraction and an accuracy of 0.68 for adjudication. Furthermore, we introduce the CLEART score, a novel, automated metric specifically designed for evaluating the quality of AI-generated clinical reasoning in adjudicating cardiovascular events. This approach demonstrates significant potential for substantially reducing adjudication time and costs while maintaining high-quality, consistent, and auditable outcomes in clinical trials. The reduced variability and enhanced standardization also allow for faster identification and mitigation of risks associated with cardiovascular therapies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google