Augmenting Black-box LLMs with Medical Textbooks for Clinical Question Answering

要約

ChatGPT などの大規模言語モデル (LLM) は、タスク指向の対話や質問応答など、さまざまな下流タスクに対して人間のような応答を生成できます。
ただし、LLM を医療ドメインに適用することは、ドメイン固有の知識を活用できないため、依然として困難です。
この研究では、権威ある医学教科書を設計の基礎として統合し、プラグアンドプレイ モジュールを通じて専門領域での習熟度を強化する、医学教科書で拡張された大規模言語モデル (LLM-AMT) を紹介します。
Hybrid Textbook Retriever の機能を Query Augmenter と LLM Reader で補完します。
3 つのオープンドメインの医療質問応答タスクに関する実験評価では、LLM-AMT を利用すると、LLM 応答の専門性と精度の両方が大幅に向上し、11.4% から 13.2% の範囲の改善が見られたことが明らかになりました。
検索コーパスとしての医学教科書は、サイズが 100 分の 1 であるにもかかわらず、医学分野においては Wikipedia よりも貴重な外部知識源として機能することがわかりました。
私たちの実験によると、教科書の拡張により、Wikipedia の拡張よりも 9.7% から 12.2% の範囲でパフォーマンスが向上することがわかりました。

要約(オリジナル)

Large-scale language models (LLMs), such as ChatGPT, are capable of generating human-like responses for various downstream tasks, such as task-oriented dialogues and question answering. However, applying LLMs to medical domains remains challenging due to their inability to leverage domain-specific knowledge. In this study, we present the Large-scale Language Models Augmented with Medical Textbooks (LLM-AMT), which integrates authoritative medical textbooks as the cornerstone of its design, enhancing its proficiency in the specialized domain through plug-and-play modules, comprised of a Hybrid Textbook Retriever, supplemented by the Query Augmenter and the LLM Reader. Experimental evaluation on three open-domain medical question-answering tasks reveals a substantial enhancement in both the professionalism and accuracy of the LLM responses when utilizing LLM-AMT, exhibiting an improvement ranging from 11.4% to 13.2%. Despite being 100 times smaller, we found that medical textbooks as the retrieval corpus serves as a more valuable external knowledge source than Wikipedia in the medical domain. Our experiments show that textbook augmentation results in a performance improvement ranging from 9.7% to 12.2% over Wikipedia augmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google