MediQ: Question-Asking LLMs and a Benchmark for Reliable Interactive Clinical Reasoning

要約

通常、ユーザーは LLM をインタラクティブに操作しますが、既存のベンチマークのほとんどは LLM を静的な 1 ターン形式で評価するため、インタラクティブなシナリオでは信頼性の懸念が生じます。
私たちは、信頼性に対する重要な障害を特定します。LLM は、たとえ不完全な文脈や不十分な知識であっても、あらゆる質問に答えるように訓練されています。
この論文では、静的なパラダイムを対話型のパラダイムに変更し、より多くの情報を収集して確実に応答するために積極的に質問するシステムを開発し、LLM の質問能力を評価するベンチマーク – MediQ – を導入することを提案します。
MediQ は、患者システムと適応エキスパート システムから構成される臨床対話をシミュレートします。
初期情報が不完全である可能性があるため、専門家は自信がない場合は診断上の決定を下さず、代わりにフォローアップの質問を通じて不足している詳細を引き出します。
シングルターンの医療ベンチマークをインタラクティブ形式に変換するパイプラインを提供します。
私たちの結果は、最先端の LLM に質問を直接促すとパフォーマンスが低下することを示しており、LLM をプロアクティブな情報探索設定に適応させるのは簡単ではないことを示しています。
モデルの信頼性をより適切に推定し、いつ質問するかを決定するために棄権戦略を実験し、診断精度を 22.3% 向上させました。
ただし、事前に完全な情報を与えた場合の (実際には非現実的な) 上限と比較すると、パフォーマンスは依然として遅れています。
さらなる分析により、無関係なコンテキストをフィルタリングし、会話を再フォーマットすることにより、インタラクティブなパフォーマンスが向上したことがわかりました。
全体として、LLM の信頼性に関する新しい問題、インタラクティブな MediQ ベンチマーク、および新しい質問システムを紹介し、重要な領域における LLM の情報探索能力を拡張する方向性を強調します。

要約(オリジナル)

Users typically engage with LLMs interactively, yet most existing benchmarks evaluate them in a static, single-turn format, posing reliability concerns in interactive scenarios. We identify a key obstacle towards reliability: LLMs are trained to answer any question, even with incomplete context or insufficient knowledge. In this paper, we propose to change the static paradigm to an interactive one, develop systems that proactively ask questions to gather more information and respond reliably, and introduce an benchmark – MediQ – to evaluate question-asking ability in LLMs. MediQ simulates clinical interactions consisting of a Patient System and an adaptive Expert System; with potentially incomplete initial information, the Expert refrains from making diagnostic decisions when unconfident, and instead elicits missing details via follow-up questions. We provide a pipeline to convert single-turn medical benchmarks into an interactive format. Our results show that directly prompting state-of-the-art LLMs to ask questions degrades performance, indicating that adapting LLMs to proactive information-seeking settings is nontrivial. We experiment with abstention strategies to better estimate model confidence and decide when to ask questions, improving diagnostic accuracy by 22.3%; however, performance still lags compared to an (unrealistic in practice) upper bound with complete information upfront. Further analyses show improved interactive performance with filtering irrelevant contexts and reformatting conversations. Overall, we introduce a novel problem towards LLM reliability, an interactive MediQ benchmark and a novel question-asking system, and highlight directions to extend LLMs’ information-seeking abilities in critical domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google