SynSUM — Synthetic Benchmark with Structured and Unstructured Medical Records

要約

構造化されたバックグラウンド変数に非構造化された臨床ノートをリンクする合成データセットであるSynsumベンチマークを提示します。
データセットは、表形式変数（症状、診断、根本的な条件など）を含む10,000の人工患者記録と、呼吸器疾患の領域での架空の患者の出会いを説明する関連メモで構成されています。
データの表形式部分は、変数と条件付き確率の間の因果構造の両方が、ドメインの知識に基づく専門家によって提案されているベイジアンネットワークを介して生成されます。
次に、大規模な言語モデル（GPT-4O）に促し、この患者の遭遇に関連する臨床メモを生成し、患者の症状と追加の文脈を説明します。
生成されたノートの品質を評価するために専門家の評価研究の両方を実施し、データセットの表形式とテキストの両方の部分でいくつかの単純な予測モデルを実行し、さらなる研究のためのベースラインを形成します。
Synsum Datasetは、主に、表形式のバックグラウンド変数の存在下での臨床情報抽出に関する研究を促進するように設計されています。これは、ドメインの知識を通じて、テキストから抽出される関心のある概念にリンクできます – 症状はSynsumの場合です。
二次的な使用には、表形式のデータとテキストの両方に対する臨床推論の自動化に関する研究、表形式および/またはテキスト交絡因子の存在下での因果効果の推定、およびマルチモーダル合成データ生成が含まれます。

要約(オリジナル)

We present the SynSUM benchmark, a synthetic dataset linking unstructured clinical notes to structured background variables. The dataset consists of 10,000 artificial patient records containing tabular variables (like symptoms, diagnoses and underlying conditions) and related notes describing the fictional patient encounter in the domain of respiratory diseases. The tabular portion of the data is generated through a Bayesian network, where both the causal structure between the variables and the conditional probabilities are proposed by an expert based on domain knowledge. We then prompt a large language model (GPT-4o) to generate a clinical note related to this patient encounter, describing the patient symptoms and additional context. We conduct both an expert evaluation study to assess the quality of the generated notes, as well as running some simple predictor models on both the tabular and text portions of the dataset, forming a baseline for further research. The SynSUM dataset is primarily designed to facilitate research on clinical information extraction in the presence of tabular background variables, which can be linked through domain knowledge to concepts of interest to be extracted from the text – the symptoms, in the case of SynSUM. Secondary uses include research on the automation of clinical reasoning over both tabular data and text, causal effect estimation in the presence of tabular and/or textual confounders, and multi-modal synthetic data generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google