Aligning LLMs to Ask Good Questions A Case Study in Clinical Reasoning

要約

大規模な言語モデル（LLM）は、不確実性の下で効果的な質問をすることができず、意思決定に積極的な情報収集が不可欠なドメインでは信頼できないようにします。
ALFAを提示します。これは、（i）「良い」質問の概念を理論に基づいた属性のセット（例えば、明確さ、関連性）に分解することにより、LLMの質問を改善するフレームワークを提示します。
バリエーション、および（iii）優先ベースの最適化を介してモデルを調整して、これらのきめ細かい属性に沿ってより良い質問をすることを明示的に学習します。
ケーススタディとしての臨床的推論に焦点を当てて、80K属性固有のフォローアップ質問のペアで増強された17Kの実世界の臨床的相互作用で構成されるMediq-Askdocsデータセットと、新しい専門家とアノテーションされたインタラクティブなヘルスケアQAを紹介します。
質問asking能力を評価するためのタスク。
ALFAと整合したモデルは、SOTA命令チューニングLLMと比較して、MEDIQ-AskDocsで診断エラーを56.6％減らし、質問レベルのWINレートは64.4％と強力な一般化可能性です。
私たちの調査結果は、特に専門家のアプリケーションドメインで、LLMを改善するためのスケーラブルなパスを構造化された細かい属性で明示的にガイドすることを示唆しています。

要約(オリジナル)

Large language models (LLMs) often fail to ask effective questions under uncertainty, making them unreliable in domains where proactive information-gathering is essential for decisionmaking. We present ALFA, a framework that improves LLM question-asking by (i) decomposing the notion of a ‘good’ question into a set of theory-grounded attributes (e.g., clarity, relevance), (ii) controllably synthesizing attribute-specific question variations, and (iii) aligning models via preference-based optimization to explicitly learn to ask better questions along these fine-grained attributes. Focusing on clinical reasoning as a case study, we introduce the MediQ-AskDocs dataset, composed of 17k real-world clinical interactions augmented with 80k attribute-specific preference pairs of follow-up questions, as well as a novel expert-annotated interactive healthcare QA task to evaluate question-asking abilities. Models aligned with ALFA reduce diagnostic errors by 56.6% on MediQ-AskDocs compared to SOTA instruction-tuned LLMs, with a question-level win-rate of 64.4% and strong generalizability. Our findings suggest that explicitly guiding question-asking with structured, fine-grained attributes offers a scalable path to improve LLMs, especially in expert application domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google