Does Synthetic Data Generation of LLMs Help Clinical Text Mining?

要約

タイトル：合成データ生成におけるLLMが臨床テキストマイニングに役立つのか？

要約：

– 大規模言語モデル（LLM）の最近の進歩により、OpenAIのChatGPTのような高性能なモデルの開発が進んでいます。
– ChatGPTは、質問応答、エッセイ作成、コード生成などの様々なタスクで優れたパフォーマンスを発揮しています。
– しかし、医療分野での有効性は不明です。
– この研究では、生物学的名称エンティティ認識と関係抽出に焦点を当て、ChatGPTが非構造化の医療テキストから構造化情報を抽出する能力を調べ、臨床テキストマイニングを支援する可能性を調べます。
– しかし、直接これらのタスクにChatGPTを使用すると、パフォーマンスが低く、患者情報をChatGPT APIにアップロードすることに関連するプライバシー上の問題が生じることがわかりました。
– これらの制限を克服するために、ChatGPTを使用してラベル付きの大量の高品質な合成データを生成し、次の標的タスクのためにローカルモデルをファインチューニングする新しいトレーニングパラダイムを提起しています。
– 当社の方法は、標的タスクのパフォーマンスを大幅に改善し、名前エンティティ認識タスクのF1スコアを23.37％から63.99％、関係抽出タスクのF1スコアを75.86％から83.59％に向上させました。
– ChatGPTを使用してデータを生成することは、データ収集およびラベリングに必要な時間と労力を大幅に削減し、データプライバシー上の問題を緩和できます。
– 要約すると、提案されたフレームワークは、LLMモデルの臨床テキストマイニングへの適用性を向上させる有望な解決策を提供しています。

要約(オリジナル)

Recent advancements in large language models (LLMs) have led to the development of highly potent models like OpenAI’s ChatGPT. These models have exhibited exceptional performance in a variety of tasks, such as question answering, essay composition, and code generation. However, their effectiveness in the healthcare sector remains uncertain. In this study, we seek to investigate the potential of ChatGPT to aid in clinical text mining by examining its ability to extract structured information from unstructured healthcare texts, with a focus on biological named entity recognition and relation extraction. However, our preliminary results indicate that employing ChatGPT directly for these tasks resulted in poor performance and raised privacy concerns associated with uploading patients’ information to the ChatGPT API. To overcome these limitations, we propose a new training paradigm that involves generating a vast quantity of high-quality synthetic data with labels utilizing ChatGPT and fine-tuning a local model for the downstream task. Our method has resulted in significant improvements in the performance of downstream tasks, improving the F1-score from 23.37% to 63.99% for the named entity recognition task and from 75.86% to 83.59% for the relation extraction task. Furthermore, generating data using ChatGPT can significantly reduce the time and effort required for data collection and labeling, as well as mitigate data privacy concerns. In summary, the proposed framework presents a promising solution to enhance the applicability of LLM models to clinical text mining.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI