XAIQA: Explainer-Based Data Augmentation for Extractive Question Answering

要約

抽出的質問応答 (QA) システムを使用すると、医師や研究者が医療記録を照会できるようになります。これは、臨床研究を設計し、患者の病歴を理解するための基本的な機能です。
ただし、これらのシステムを構築するには、通常、専門家による注釈付きの QA ペアが必要です。
抽出的 QA を実行できる大規模言語モデル (LLM) は、アプリケーション ドメインに特化したプロンプト内の高品質なデータに依存します。
電子医療記録で自然に入手可能なデータから合成 QA ペアを大規模に生成するための新しいアプローチである XAIQA を紹介します。
私たちの手法では、分類モデル説明器のアイデアを使用して、医療コードに対応する医療概念に関する質問と回答を生成します。
2 人の医師による専門家による評価で、私たちの方法は、文変換を使用して QA ペアを作成する 2 つの一般的なアプローチに比べて、2.2 倍の意味一致と 3.8 倍の臨床略語を特定しました。
ML 評価では、QA ペアを追加すると、難しい質問を含む抽出 QA モデルとして GPT-4 のパフォーマンスが向上します。
エキスパート評価と ML 評価の両方で、質問の難易度に応じて、QA ペア生成のためのメソッドと文変換器の間のトレードオフを調べます。

要約(オリジナル)

Extractive question answering (QA) systems can enable physicians and researchers to query medical records, a foundational capability for designing clinical studies and understanding patient medical history. However, building these systems typically requires expert-annotated QA pairs. Large language models (LLMs), which can perform extractive QA, depend on high quality data in their prompts, specialized for the application domain. We introduce a novel approach, XAIQA, for generating synthetic QA pairs at scale from data naturally available in electronic health records. Our method uses the idea of a classification model explainer to generate questions and answers about medical concepts corresponding to medical codes. In an expert evaluation with two physicians, our method identifies $2.2\times$ more semantic matches and $3.8\times$ more clinical abbreviations than two popular approaches that use sentence transformers to create QA pairs. In an ML evaluation, adding our QA pairs improves performance of GPT-4 as an extractive QA model, including on difficult questions. In both the expert and ML evaluations, we examine trade-offs between our method and sentence transformers for QA pair generation depending on question difficulty.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google