Diagnosis extraction from unstructured Dutch echocardiogram reports using span- and document-level characteristic classification

要約

臨床機械学習研究と AI 主導の臨床意思決定支援モデルは、臨床的に正確なラベルに依存しています。
臨床専門家の助けを借りてこれらのラベルを手動で抽出するには、多くの場合、時間と費用がかかります。
この研究では、オランダの非構造化心エコー図レポートからの自動スパンおよび文書レベルの診断抽出の実現可能性をテストします。
オランダの大規模大学病院 UMCU からの 115,692 件の非構造化心エコー図レポートを含めました。
無作為に選択されたサブセットには、一般的に説明される 11 個の心臓特性の発生と重症度について手動で注釈が付けられました。
私たちは、パフォーマンス評価のために重み付けおよびマクロ F1 スコア、精度、リコールを使用して、スパン レベルとドキュメント レベルの両方でいくつかの自動ラベル付け手法を開発し、テストしました。
スパンラベル付けのパフォーマンスを、直接ドキュメント分類器とスパン分類結果に依存する間接ドキュメント分類器の両方を含むドキュメントラベル付け方法と比較しました。
SpanCategorizer モデルと MedRoBERTa.nl モデルは、それぞれ他のすべてのスパン分類子とドキュメント分類子を上回りました。
加重 F1 スコアは特性間で異なり、SpanCategorizer では 0.60 ～ 0.93、MedRoBERTa.nl では 0.96 ～ 0.98 の範囲でした。
直接文書分類は、スパン分類器を使用した間接文書分類よりも優れていました。
SetFit は、トレーニング データの 10\% のみを使用して、競争力のあるドキュメント分類パフォーマンスを達成しました。
削減されたラベル セットを使用すると、ほぼ完璧な文書分類結果が得られました。
オランダの心エコー検査レポートからスパンレベルおよびドキュメントレベルの診断を抽出するには、公開されている SpanCategorizer および MedRoBERTa.nl モデルを使用することをお勧めします。
トレーニング データが限られている設定の場合、SetFit はドキュメント分類の有望な代替手段となる可能性があります。

要約(オリジナル)

Clinical machine learning research and AI driven clinical decision support models rely on clinically accurate labels. Manually extracting these labels with the help of clinical specialists is often time-consuming and expensive. This study tests the feasibility of automatic span- and document-level diagnosis extraction from unstructured Dutch echocardiogram reports. We included 115,692 unstructured echocardiogram reports from the UMCU a large university hospital in the Netherlands. A randomly selected subset was manually annotated for the occurrence and severity of eleven commonly described cardiac characteristics. We developed and tested several automatic labelling techniques at both span and document levels, using weighted and macro F1-score, precision, and recall for performance evaluation. We compared the performance of span labelling against document labelling methods, which included both direct document classifiers and indirect document classifiers that rely on span classification results. The SpanCategorizer and MedRoBERTa.nl models outperformed all other span and document classifiers, respectively. The weighted F1-score varied between characteristics, ranging from 0.60 to 0.93 in SpanCategorizer and 0.96 to 0.98 in MedRoBERTa.nl. Direct document classification was superior to indirect document classification using span classifiers. SetFit achieved competitive document classification performance using only 10\% of the training data. Utilizing a reduced label set yielded near-perfect document classification results. We recommend using our published SpanCategorizer and MedRoBERTa.nl models for span- and document-level diagnosis extraction from Dutch echocardiography reports. For settings with limited training data, SetFit may be a promising alternative for document classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google