Neural at ArchEHR-QA 2025: Agentic Prompt Optimization for Evidence-Grounded Clinical Question Answering

要約

電子ヘルス記録（EHR）を介した自動化された質問応答（QA）は、臨床医と患者の重要な情報ギャップを埋めることができますが、限られた監督の下で正確な証拠検索と忠実な回答生成の両方を要求します。
この作業では、Bionlp 2025 Archehr-Qaの準優勝であるNeuralを、証拠に基づいた臨床QAで共有タスクを提示します。
提案された方法は、タスクを（1）文レベルの証拠識別と（2）明示的な引用を伴う回答統合に切り離します。
各段階で、DSPYのMIPROV2オプティマイザーを使用したプロンプトスペースを自動的に調査し、開発セットで指示と少数のショットデモンストレーションを調整します。
自己整合の投票スキームは、精度を犠牲にすることなく、証拠のリコールをさらに改善します。
隠されたテストセットでは、私たちの方法は51.5の総合スコアを達成し、それぞれ20ポイント以上の標準ゼロショットと少数のショットプロンプトを上回りながら2番目のステージを配置します。
これらの結果は、データ駆動型の迅速な最適化が、ハイステークス臨床QAのモデル微調整に代わる費用対効果の高い代替品であり、ヘルスケアにおけるAIアシスタントの信頼性を高めることを示しています。

要約(オリジナル)

Automated question answering (QA) over electronic health records (EHRs) can bridge critical information gaps for clinicians and patients, yet it demands both precise evidence retrieval and faithful answer generation under limited supervision. In this work, we present Neural, the runner-up in the BioNLP 2025 ArchEHR-QA shared task on evidence-grounded clinical QA. Our proposed method decouples the task into (1) sentence-level evidence identification and (2) answer synthesis with explicit citations. For each stage, we automatically explore the prompt space with DSPy’s MIPROv2 optimizer, jointly tuning instructions and few-shot demonstrations on the development set. A self-consistency voting scheme further improves evidence recall without sacrificing precision. On the hidden test set, our method attains an overall score of 51.5, placing second stage while outperforming standard zero-shot and few-shot prompting by over 20 and 10 points, respectively. These results indicate that data-driven prompt optimization is a cost-effective alternative to model fine-tuning for high-stakes clinical QA, advancing the reliability of AI assistants in healthcare.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google