MedReadMe: A Systematic Study for Fine-grained Sentence Readability in Medical Domain

要約

医学書は読みにくいことで有名である。読みやすさを適切に測定することは、より利用しやすくするための第一歩である。本論文では、医学領域における文レベルとスパンレベルのきめ細かな読みやすさの測定に関する体系的な研究を紹介する。新しいデータセットMedReadMeを紹介する。MedReadMeは、4,520文に対して手動でアノテーションされた可読性評価と、2つの新しい「Google-Easy」と「Google-Hard」カテゴリを特徴とするきめ細かい複合スパンアノテーションから構成される。このアノテーションは、650の言語的特徴と複雑な単語や専門用語の自動識別をカバーする定量分析をサポートします。高品質なアノテーションにより、特に医療分野向けに、教師なし、教師あり、最近開発された大規模言語モデル（LLM）を使用したプロンプティングベースの方法など、いくつかの最新の文レベルの読みやすさのメトリクスをベンチマークし、改善した。また、我々が開発したきめ細かな複合スパンアノテーションにより、専門用語のスパン数を表す単一の特徴量を既存の読みやすさの計算式に追加することで、人間の判断との相関を大幅に改善できることを発見した。我々はデータセットとコードを公開する予定である。

要約(オリジナル)

Medical texts are notoriously challenging to read. Properly measuring their readability is the first step towards making them more accessible. In this paper, we present a systematic study on fine-grained readability measurements in the medical domain at both sentence-level and span-level. We introduce a new dataset MedReadMe, which consists of manually annotated readability ratings and fine-grained complex span annotation for 4,520 sentences, featuring two novel ‘Google-Easy’ and ‘Google-Hard’ categories. It supports our quantitative analysis, which covers 650 linguistic features and automatic complex word and jargon identification. Enabled by our high-quality annotation, we benchmark and improve several state-of-the-art sentence-level readability metrics for the medical domain specifically, which include unsupervised, supervised, and prompting-based methods using recently developed large language models (LLMs). Informed by our fine-grained complex span annotation, we find that adding a single feature, capturing the number of jargon spans, into existing readability formulas can significantly improve their correlation with human judgments. We will publicly release the dataset and code.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL