High-Throughput Phenotyping of Clinical Text Using Large Language Models

要約

ハイスループットの表現型は、患者の兆候の標準化されたオントロジーの概念へのマッピングを自動化し、精密医療に不可欠です。
この研究では、大規模な言語モデルを使用したオンラインメンデル継承（OMIM）データベースからの臨床要約の表現型の自動化を評価します。
豊富な表現型データにより、これらの要約は医師のメモの代理となる可能性があります。
GPT-4とGPT-3.5ターボのパフォーマンス比較を実施します。
我々の結果は、GPT-4がGPT-3.5ターボを識別、分類、および正規化し、評価者間合意に匹敵する手動アノテーターとの一致を達成することを上回っていることを示しています。
標識の正規化のいくつかの制限にもかかわらず、GPT-4の広範なトレーニングは、手動で注釈されたトレーニングデータの必要性を排除しながら、いくつかの表現型タスクにわたって高性能と一般化可能性をもたらします。
大規模な言語モデルは、臨床テキストのハイスループット表現型を自動化するための支配的な方法であると予想されます。

要約(オリジナル)

High-throughput phenotyping automates the mapping of patient signs to standardized ontology concepts and is essential for precision medicine. This study evaluates the automation of phenotyping of clinical summaries from the Online Mendelian Inheritance in Man (OMIM) database using large language models. Due to their rich phenotype data, these summaries can be surrogates for physician notes. We conduct a performance comparison of GPT-4 and GPT-3.5-Turbo. Our results indicate that GPT-4 surpasses GPT-3.5-Turbo in identifying, categorizing, and normalizing signs, achieving concordance with manual annotators comparable to inter-rater agreement. Despite some limitations in sign normalization, the extensive pre-training of GPT-4 results in high performance and generalizability across several phenotyping tasks while obviating the need for manually annotated training data. Large language models are expected to be the dominant method for automating high-throughput phenotyping of clinical text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google