NLP-based assessment of prescription appropriateness from Italian referrals

要約

目的：この研究は、処方の理由が自由テキストとしてのみ記録され、自動化された比較をガイドラインと複雑にするための自然言語処理パイプラインを提案します。
パイプラインは、これらの紹介の背後にある理由の包括的な要約とそれらの適切性の定量化を初めて導き出すことを目指しています。
特定のケーススタディで実証されていますが、このアプローチは他のタイプの試験に一般化するように設計されています。
方法：トランスベースのモデルからの埋め込み、提案されたアプローチクラスターの紹介テキスト、クラスターをラベルにマッピングし、これらのラベルを既存のガイドラインに合わせます。
ロンバルディア地域の2019年から2021年の間に、下肢の静脈エコーコロードトップラーのすべての紹介で構成される496,971の紹介のデータセットに関するケーススタディを提示します。
1,000の紹介のサンプルに手動で注釈が付けられ、結果が検証されました。
結果：パイプラインは、紹介の理由（PREC = 92.43％、Rec = 83.28％）で高性能を示し、注釈付きサブセットの紹介の適切性（PREC = 93.58％、Rec = 91.52％）の優れた結果を示しました。
データセット全体の分析では、ガイドライン定義の理由（適切かつ不適切な両方）を一致させるクラスターを特定し、ガイドラインでは対処されていないクラスターが一致しました。
全体として、紹介の34.32％が必要に応じてマークされ、34.07％が不適切で、14.37％が不適切であり、17.24％がガイドラインにマッピングできませんでした。
結論：提案されたパイプラインは、大規模なデータセット全体で処方の適切性を効果的に評価し、保健当局にとって貴重なツールとして機能しました。
調査結果は、勧告を強化し、不適切な紹介の負担を軽減するためのロンバルディア地域の取り組みを知らせています。

要約(オリジナル)

Objective: This study proposes a Natural Language Processing pipeline to evaluate prescription appropriateness in Italian referrals, where reasons for prescriptions are recorded only as free text, complicating automated comparisons with guidelines. The pipeline aims to derive, for the first time, a comprehensive summary of the reasons behind these referrals and a quantification of their appropriateness. While demonstrated in a specific case study, the approach is designed to generalize to other types of examinations. Methods: Leveraging embeddings from a transformer-based model, the proposed approach clusters referral texts, maps clusters to labels, and aligns these labels with existing guidelines. We present a case study on a dataset of 496,971 referrals, consisting of all referrals for venous echocolordopplers of the lower limbs between 2019 and 2021 in the Lombardy Region. A sample of 1,000 referrals was manually annotated to validate the results. Results: The pipeline exhibited high performance for referrals’ reasons (Prec=92.43%, Rec=83.28%) and excellent results for referrals’ appropriateness (Prec=93.58%, Rec=91.52%) on the annotated subset. Analysis of the entire dataset identified clusters matching guideline-defined reasons – both appropriate and inappropriate – as well as clusters not addressed in the guidelines. Overall, 34.32% of referrals were marked as appropriate, 34.07% inappropriate, 14.37% likely inappropriate, and 17.24% could not be mapped to guidelines. Conclusions: The proposed pipeline effectively assessed prescription appropriateness across a large dataset, serving as a valuable tool for health authorities. Findings have informed the Lombardy Region’s efforts to strengthen recommendations and reduce the burden of inappropriate referrals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google