EHRSQL: A Practical Text-to-SQL Benchmark for Electronic Health Records

要約

タイトル：EHRSQL：電子健康記録のための実用的なテキストtoSQLベンチマーク

要約：
– 新しいテキストtoSQLデータセットの提供
– 医師、看護師、保険審査、健康記録チームから222の病院スタッフから発話を収集
– 大学病院でのアンケート調査を実施し、それに基づいてQAデータセットを生成
– MIMIC-IIIおよびeICUなどの2つのオープンソースのEHRデータベースに手動でリンクを構築し、データセットに組み込んだ
– 時間的表現や回答できない質問にも対応するようにデータセットを構築
– 様々なニーズに対応するために、単純な検索から生存率の計算などの複雑な操作を反映するSQLクエリを生成する必要がある
– テキスト自動生成とSQLの実際の運用を結び付けるための実際的なベンチマークセットとして、EHRSQLは有用であると考えられる
– EHRSQLはhttps://github.com/glee4810/EHRSQLで利用可能

要約(オリジナル)

We present a new text-to-SQL dataset for electronic health records (EHRs). The utterances were collected from 222 hospital staff, including physicians, nurses, insurance review and health records teams, and more. To construct the QA dataset on structured EHR data, we conducted a poll at a university hospital and templatized the responses to create seed questions. Then, we manually linked them to two open-source EHR databases, MIMIC-III and eICU, and included them with various time expressions and held-out unanswerable questions in the dataset, which were all collected from the poll. Our dataset poses a unique set of challenges: the model needs to 1) generate SQL queries that reflect a wide range of needs in the hospital, including simple retrieval and complex operations such as calculating survival rate, 2) understand various time expressions to answer time-sensitive questions in healthcare, and 3) distinguish whether a given question is answerable or unanswerable based on the prediction confidence. We believe our dataset, EHRSQL, could serve as a practical benchmark to develop and assess QA models on structured EHR data and take one step further towards bridging the gap between text-to-SQL research and its real-life deployment in healthcare. EHRSQL is available at https://github.com/glee4810/EHRSQL.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI