CliniDigest: A Case Study in Large Language Model Based Large-Scale Summarization of Clinical Trial Descriptions

要約

臨床試験は、新しい生物医学的介入を評価する研究です。
新しい試験を設計するために、研究者は現在行われている試験と完了した試験からインスピレーションを得ます。
2022 年には、毎日平均 100 件を超える臨床試験が ClinicalTrials.gov に提出され、各試験の平均は約 1500 ワードでした [1]。
これにより、最新の状態を維持することがほぼ不可能になります。
この問題を軽減するために、GPT-3.5 を使用して CliniDigest と呼ばれるバッチ臨床試験サマライザーを作成しました。
私たちの知る限り、CliniDigest は臨床試験の真実かつ包括的な概要をリアルタイムで提供できる最初のツールです。
CliniDigest は、最大 85 件の臨床試験の説明 (約 10,500 語) を、参考文献と限定的な幻覚を含む簡潔な 200 語の要約に減らすことができます。
私たちは、27 の医療サブドメインに分かれた 457 件の試験を要約する能力について、CliniDigest をテストしました。
CliniDigest はフィールドごとに $\mu=153,\ \sigma=69 $ 単語の要約を生成します。各単語はソースの $\mu=54\%,\ \sigma=30\% $ を利用します。
この文書では、より包括的な評価が計画され、その概要が説明されています。

要約(オリジナル)

A clinical trial is a study that evaluates new biomedical interventions. To design new trials, researchers draw inspiration from those current and completed. In 2022, there were on average more than 100 clinical trials submitted to ClinicalTrials.gov every day, with each trial having a mean of approximately 1500 words [1]. This makes it nearly impossible to keep up to date. To mitigate this issue, we have created a batch clinical trial summarizer called CliniDigest using GPT-3.5. CliniDigest is, to our knowledge, the first tool able to provide real-time, truthful, and comprehensive summaries of clinical trials. CliniDigest can reduce up to 85 clinical trial descriptions (approximately 10,500 words) into a concise 200-word summary with references and limited hallucinations. We have tested CliniDigest on its ability to summarize 457 trials divided across 27 medical subdomains. For each field, CliniDigest generates summaries of $\mu=153,\ \sigma=69 $ words, each of which utilizes $\mu=54\%,\ \sigma=30\% $ of the sources. A more comprehensive evaluation is planned and outlined in this paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google