From RAGs to riches: Using large language models to write documents for clinical trials

要約

臨床試験では、プロトコル、同意書、臨床研究報告書など、多数の文書を作成する必要があります。
大規模言語モデル (LLM) は、これらの文書の最初のバージョンを迅速に生成できる可能性を提供しますが、その出力の品質には懸念があります。ここでは、そのような文書の 1 つである臨床試験プロトコルの一部を生成する際の LLM の評価を報告します。
特にコンテンツの関連性と用語の正しい使用を評価する場合、既製の LLM が妥当な結果をもたらすことがわかりました。
しかし、特に臨床的思考と論理、参考文献の適切な使用といった欠陥は依然として残っています。
パフォーマンスを向上させるために、検索拡張生成 (RAG) を使用して、LLM に正確な最新情報を要求しました。
RAG を使用した結果、LLM の書き込み品質が大幅に向上し、臨床試験関連の書き込みにおける LLM の実際の使用可能性に影響を及ぼします。

要約(オリジナル)

Clinical trials require numerous documents to be written — protocols, consent forms, clinical study reports and others. Large language models (LLMs) offer the potential to rapidly generate first versions of these documents, however there are concerns about the quality of their output Here we report an evaluation of LLMs in generating parts of one such document, clinical trial protocols. We find that an offthe-shelf LLM delivers reasonable results, especially when assessing content relevance and the correct use of terminology. However, deficiencies remain: specifically clinical thinking and logic, and appropriate use of references. To improve performance, we used retrieval-augmented generation (RAG) to prompt an LLM with accurate up-to-date information. As a result of using RAG, the writing quality of the LLM improves substantially, which has implications for the practical useability of LLMs in clinical trial-related writing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google