Extracting Thyroid Nodules Characteristics from Ultrasound Reports Using Transformer-based Natural Language Processing Methods

要約

タイトル：Transformerベースの自然言語処理手法を用いた超音波レポートからの甲状腺結節の特徴抽出

要約：

– 甲状腺結節の超音波特徴は、甲状腺結節を持つ患者の甲状腺がんの評価を指導します。
– しかし、甲状腺結節の特徴は、しばしば超音波レポートのような臨床的なナラティブで文書化されます。
– 以前の研究では、ルールベースのNLPシステムを使用して、限られた（<9）特徴を抽出するNLP手法が調べられていました。 - 本研究では、NLP専門家と甲状腺専門医からなる多学科チームが、臨床ケアに重要な甲状腺結節の特徴を特定し、注釈ガイドラインを作成し、コーパスを開発し、BERT、RoBERTa、LongFormer、DeBERTa、GatorTronを含む5つの最新のトランスフォーマーベースのNLP手法を比較して、超音波レポートから甲状腺結節の特徴を抽出しました。 - 90億語のテキストを使用してトレーニングされたトランスフォーマーベースの大規模言語モデルであるGatorTronモデルが、厳密なF1スコア0.8851および緩和されたF1スコア0.9495で、16個の甲状腺結節の特徴の合計数の抽出および特徴を結節にリンクさせるための0.9321の最高の性能を示し、他の臨床用トランスフォーマーモデルを上回りました。 - 知る限り、これは甲状腺超音波レポートから多数の臨床上有用な甲状腺結節の特徴をシステム的に分類し、トランスフォーマーベースのNLPモデルを適用する最初の研究です。 - この研究は、甲状腺超音波レポートの文書化の質の評価と、電子健康記録を使用して甲状腺結節を持つ患者の結果を調べるための基盤を提供します。

要約(オリジナル)

The ultrasound characteristics of thyroid nodules guide the evaluation of thyroid cancer in patients with thyroid nodules. However, the characteristics of thyroid nodules are often documented in clinical narratives such as ultrasound reports. Previous studies have examined natural language processing (NLP) methods in extracting a limited number of characteristics (<9) using rule-based NLP systems. In this study, a multidisciplinary team of NLP experts and thyroid specialists, identified thyroid nodule characteristics that are important for clinical care, composed annotation guidelines, developed a corpus, and compared 5 state-of-the-art transformer-based NLP methods, including BERT, RoBERTa, LongFormer, DeBERTa, and GatorTron, for extraction of thyroid nodule characteristics from ultrasound reports. Our GatorTron model, a transformer-based large language model trained using over 90 billion words of text, achieved the best strict and lenient F1-score of 0.8851 and 0.9495 for the extraction of a total number of 16 thyroid nodule characteristics, and 0.9321 for linking characteristics to nodules, outperforming other clinical transformer models. To the best of our knowledge, this is the first study to systematically categorize and apply transformer-based NLP models to extract a large number of clinical relevant thyroid nodule characteristics from ultrasound reports. This study lays ground for assessing the documentation quality of thyroid ultrasound reports and examining outcomes of patients with thyroid nodules using electronic health records.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI