MedReadMe: A Systematic Study for Fine-grained Sentence Readability in Medical Domain

要約

医学書は読みにくいことで知られています。
可読性を適切に測定することは、よりアクセスしやすくするための第一歩です。
この論文では、医療分野における文レベルとスパンレベルの両方でのきめ細かい読みやすさの測定に関する体系的な研究を紹介します。
新しいデータセット MedReadMe を紹介します。これは、手動で注釈が付けられた可読性評価と、4,520 文に対するきめ細かい複雑なスパン注釈で構成され、2 つの新しい「Google-Easy」および「Google-Hard」カテゴリを特徴としています。
これは、650 の言語特徴をカバーする定量分析と、複雑な単語や専門用語の自動識別をサポートします。
高品質のアノテーションを利用して、最近開発された大規模言語モデル (LLM) を使用した、教師なし、教師あり、プロンプトベースの手法など、医療分野に特化したいくつかの最先端の文レベルの可読性メトリクスをベンチマークし、改善しています。
）。
私たちは、きめ細かい複雑なスパンのアノテーションから情報を得て、専門用語のスパンの数を捕捉する単一の特徴を既存の読みやすさの式に追加することで、人間の判断との相関関係を大幅に改善できることがわかりました。
データは tinyurl.com/medreadme-repo で入手できます。

要約(オリジナル)

Medical texts are notoriously challenging to read. Properly measuring their readability is the first step towards making them more accessible. In this paper, we present a systematic study on fine-grained readability measurements in the medical domain at both sentence-level and span-level. We introduce a new dataset MedReadMe, which consists of manually annotated readability ratings and fine-grained complex span annotation for 4,520 sentences, featuring two novel ‘Google-Easy’ and ‘Google-Hard’ categories. It supports our quantitative analysis, which covers 650 linguistic features and automatic complex word and jargon identification. Enabled by our high-quality annotation, we benchmark and improve several state-of-the-art sentence-level readability metrics for the medical domain specifically, which include unsupervised, supervised, and prompting-based methods using recently developed large language models (LLMs). Informed by our fine-grained complex span annotation, we find that adding a single feature, capturing the number of jargon spans, into existing readability formulas can significantly improve their correlation with human judgments. The data is available at tinyurl.com/medreadme-repo

arxiv情報

提供元, 利用サービス

arxiv.jp, Google