RJUA-QA: A Comprehensive QA Dataset for Urology

要約

RJUA-QA は、質問応答 (QA) と臨床証拠に基づく推論のための新しい医療データセットであり、一般的な大規模言語モデル (LLM) と医療固有の LLM アプリケーションの間のギャップを埋めるのに貢献します。
RJUA-QA は現実的な臨床シナリオに基づいており、LLM が信頼できる診断とアドバイスを生成できるようにすることを目的としています。
データセットには、約 25,000 の診断記録と臨床症例に対応する、厳選された 2,132 の質問、文脈、回答のペアが含まれています。
このデータセットは 67 の一般的な泌尿器科疾患カテゴリーをカバーしており、その疾患カバー率は泌尿器科で医療サービスを求めている人口の 97.6% を超えています。
RJUA-QA の各データ インスタンスは、(1) 臨床症状や病状に関する質問に対する実際の患者を反映した質問、(2) 医療検査と診断の参考となる包括的な専門知識を含むコンテキスト、(3)
診断結論と推奨される検査ガイダンスを提供する医師の応答、(4) 推奨される診断結果として診断された臨床疾患、および (5) 健康診断の推奨を提供する臨床アドバイス。
RJUA-QA は、患者の質問に対する臨床推論のための初の医療 QA データセットであり、診断の結論や健康診断のアドバイスを得るには専門家レベルの知識と経験が必要です。
RJUA-QA データセット上の医療固有の LLM と一般的な LLM の両方のパフォーマンスを評価するために、包括的な評価が実行されます。

要約(オリジナル)

We introduce RJUA-QA, a novel medical dataset for question answering (QA) and reasoning with clinical evidence, contributing to bridge the gap between general large language models (LLMs) and medical-specific LLM applications. RJUA-QA is derived from realistic clinical scenarios and aims to facilitate LLMs in generating reliable diagnostic and advice. The dataset contains 2,132 curated Question-Context-Answer pairs, corresponding about 25,000 diagnostic records and clinical cases. The dataset covers 67 common urological disease categories, where the disease coverage exceeds 97.6\% of the population seeking medical services in urology. Each data instance in RJUA-QA comprises: (1) a question mirroring real patient to inquiry about clinical symptoms and medical conditions, (2) a context including comprehensive expert knowledge, serving as a reference for medical examination and diagnosis, (3) a doctor response offering the diagnostic conclusion and suggested examination guidance, (4) a diagnosed clinical disease as the recommended diagnostic outcome, and (5) clinical advice providing recommendations for medical examination. RJUA-QA is the first medical QA dataset for clinical reasoning over the patient inquiries, where expert-level knowledge and experience are required for yielding diagnostic conclusions and medical examination advice. A comprehensive evaluation is conducted to evaluate the performance of both medical-specific and general LLMs on the RJUA-QA dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google