Zero-shot information extraction from radiological reports using ChatGPT

要約

電子医療記録には膨大な量の貴重な情報が含まれていますが、その多くはフリーテキストで記録されています。
情報抽出は、一連の文字を構造化データに変換し、二次分析に使用できるようにする戦略です。
ただし、固有表現認識や関係抽出などの従来の情報抽出コンポーネントでは、モデル パラメーターを最適化するために注釈付きデータが必要であり、これが情報抽出システムを構築する際の大きなボトルネックの 1 つとなっています。
大規模な言語モデルがパラメーター調整なしでさまざまな下流の NLP タスクで良好なパフォーマンスを達成するため、ゼロショット情報抽出に大規模な言語モデルを使用することが可能になります。
この研究では、最も人気のある大規模言語モデルである ChatGPT が放射線レポートから有用な情報を抽出できるかどうかを調査することを目的としています。
まず、CT レポート内の関心のある情報のプロンプト テンプレートを設計します。
次に、プロンプト テンプレートと ChatGPT の入力としての CT レポートを組み合わせてプロンプトを生成し、応答を取得します。
後処理モジュールは、応答を構造化された抽出結果に変換するために開発されています。
北京大学癌病院から収集した 847 件の CT レポートを使用して実験を実施しました。
実験結果は、ChatGPT がベースライン情報抽出システムと比較して一部の抽出タスクで競合するパフォーマンスを達成できることを示していますが、いくつかの制限をさらに改善する必要があります。

要約(オリジナル)

Electronic health records contain an enormous amount of valuable information, but many are recorded in free text. Information extraction is the strategy to transform the sequence of characters into structured data, which can be employed for secondary analysis. However, the traditional information extraction components, such as named entity recognition and relation extraction, require annotated data to optimize the model parameters, which has become one of the major bottlenecks in building information extraction systems. With the large language models achieving good performances on various downstream NLP tasks without parameter tuning, it becomes possible to use large language models for zero-shot information extraction. In this study, we aim to explore whether the most popular large language model, ChatGPT, can extract useful information from the radiological reports. We first design the prompt template for the interested information in the CT reports. Then, we generate the prompts by combining the prompt template with the CT reports as the inputs of ChatGPT to obtain the responses. A post-processing module is developed to transform the responses into structured extraction results. We conducted the experiments with 847 CT reports collected from Peking University Cancer Hospital. The experimental results indicate that ChatGPT can achieve competitive performances for some extraction tasks compared with the baseline information extraction system, but some limitations need to be further improved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google