Aligning Large Language Models for Clinical Tasks

要約

大規模言語モデル (LLM) は顕著な適応性を示し、明示的にトレーニングされていないタスクでも優れた能力を発揮できることを示しています。
ただし、LLM の優れた自然言語処理 (NLP) 機能にもかかわらず、特定の臨床アプリケーションに LLM を導入する場合、LLM を効果的に調整することが依然として重要な課題となっています。
事実に基づいて正確な内容の応答を生成し、重要な推論ステップに取り組む能力は、LLM が臨床医学への応用に適格であるために非常に重要です。
命令チューニングや、少数ショットや思考連鎖プロンプトなどのインプロンプト戦略などの手法を組み合わせて採用することで、LLM のパフォーマンスが大幅に向上しました。
「expand-guess-refine」として知られる、私たちが提案する医療質問応答用の調整戦略は、パラメーターとデータ効率の高いソリューションを提供します。
このメソッドの予備分析では、USMLE データセットをソースとする質問のサブセットで 70.63% のスコアを達成するという、優れたパフォーマンスが実証されました。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable adaptability, showcasing their capacity to excel in tasks for which they were not explicitly trained. However, despite their impressive natural language processing (NLP) capabilities, effective alignment of LLMs remains a crucial challenge when deploying them for specific clinical applications. The ability to generate responses with factually accurate content and to engage in non-trivial reasoning steps are crucial for the LLMs to be eligible for applications in clinical medicine. Employing a combination of techniques including instruction-tuning and in-prompt strategies like few-shot and chain of thought prompting has significantly enhanced the performance of LLMs. Our proposed alignment strategy for medical question-answering, known as ‘expand-guess-refine’, offers a parameter and data-efficient solution. A preliminary analysis of this method demonstrated outstanding performance, achieving a score of 70.63% on a subset of questions sourced from the USMLE dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google