RuleAlign: Making Large Language Models Better Physicians with Diagnostic Rule Alignment

要約

GPT-4、MedPaLM-2、Med-Gemini などの大規模言語モデル (LLM) は、さまざまな医療ベンチマークにわたって人間の専門家に匹敵するパフォーマンスを達成します。
しかし、医師と同様の専門的な診断を行うこと、特に患者情報を効率的に収集し、最終的な診断を推論することにおいて、依然として課題に直面しています。
この目的を達成するために、LLM を特定の診断ルールに合わせて調整するように設計された RuleAlign フレームワークを導入します。
私たちは、患者と医師の間のルールベースのコミュニケーションで構成される医療対話データセットを開発し、嗜好学習によるアライメント学習アプローチを設計します。
実験結果は、提案されたアプローチの有効性を示しています。
私たちの研究が、AI 医師としての LLM の可能性を探るインスピレーションとして役立つことを願っています。

要約(オリジナル)

Large Language Models (LLMs) like GPT-4, MedPaLM-2, and Med-Gemini achieve performance competitively with human experts across various medical benchmarks. However, they still face challenges in making professional diagnoses akin to physicians, particularly in efficiently gathering patient information and reasoning the final diagnosis. To this end, we introduce the RuleAlign framework, designed to align LLMs with specific diagnostic rules. We develop a medical dialogue dataset comprising rule-based communications between patients and physicians and design an alignment learning approach through preference learning. Experimental results demonstrate the effectiveness of the proposed approach. We hope that our work can serve as an inspiration for exploring the potential of LLMs as AI physicians.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google