Generating multiple-choice questions for medical question answering with distractors and cue-masking

要約

医療の多肢選択式質問応答 (MCQA) は特に困難です。
質問は、患者の症状を説明し、正しい診断を求める場合があります。これには、ドメインの知識と複雑な推論が必要です。
標準言語モデリングの事前トレーニングだけでは、最良の結果を得るには不十分です。
\citet{jin2020disease} は、医療百科事典のパラグラフを入力として使用する場合、マスクされた言語モデリングを病名予測に集中させると、MCQA の精度が大幅に向上することを示しました。
この作業では、(1) 生成された MCQA データセットの微調整が、マスクされた言語モデリング ベースの目的よりも優れていること、および (2) 回答の手がかりを正しくマスクすることが、良好なパフォーマンスにとって重要であることを示します。
新しい事前トレーニング データセットをリリースし、4 つの MCQA データセットで最先端の結果を達成しました。特に、MedQA-USMLE のベースサイズ モデルで +5.7\% です。

要約(オリジナル)

Medical multiple-choice question answering (MCQA) is particularly difficult. Questions may describe patient symptoms and ask for the correct diagnosis, which requires domain knowledge and complex reasoning. Standard language modeling pretraining alone is not sufficient to achieve the best results. \citet{jin2020disease} showed that focusing masked language modeling on disease name prediction when using medical encyclopedic paragraphs as input leads to considerable MCQA accuracy improvement. In this work, we show that (1) fine-tuning on generated MCQA dataset outperforms the masked language modeling based objective and (2) correctly masking the cues to the answers is critical for good performance. We release new pretraining datasets and achieve state-of-the-art results on 4 MCQA datasets, notably +5.7\% with base-size model on MedQA-USMLE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google