The CALLA Dataset: Probing LLMs’ Interactive Knowledge Acquisition from Chinese Medical Literature

要約

大規模言語モデル (LLM) の医療分野への応用は、研究者の関心を刺激しています。
最近の研究は、LLM のインタラクティブな医療知識を強化するために、医療知識グラフを通じて命令微調整 (IFT) データを構築することに焦点を当てています。
しかし、医学知識の豊富な情報源としての医学文献は未開拓のままです。
私たちの研究では、CALLA データセットを導入して、LLM が中国の医学文献から対話的に知識を獲得したことを調査しています。
自由対話による事実確認タスクを通じて、LLM が医療知識を習得する習熟度を評価します。
私たちは、LLMが質問で言及された事実を肯定し、それに異議を唱えることに消極的な姿勢を示す傾向がある、「事実追従反応」と呼ばれる現象を特定しました。
この現象による不正確な評価を排除するために、黄金の事実に対して、事実と一致する観点と事実と一致しない観点の2つの観点からテストデータを人工的に構築します。
CALLA データセットの精査実験から得た結論として、医学文献コーパスと高度に相関する IFT データは LLM にとって強力な触媒として機能し、インタラクティブなシナリオ内で事前トレーニング段階で取得した医学知識を巧みに活用できるようになり、
正確さ。
さらに、医学文献に基づいて IFT データを自動的に構築するためのフレームワークを設計し、いくつかの実世界のアプリケーションについて説明します。

要約(オリジナル)

The application of Large Language Models (LLMs) to the medical domain has stimulated the interest of researchers. Recent studies have focused on constructing Instruction Fine-Tuning (IFT) data through medical knowledge graphs to enrich the interactive medical knowledge of LLMs. However, the medical literature serving as a rich source of medical knowledge remains unexplored. Our work introduces the CALLA dataset to probe LLMs’ interactive knowledge acquisition from Chinese medical literature. It assesses the proficiency of LLMs in mastering medical knowledge through a free-dialogue fact-checking task. We identify a phenomenon called the “fact-following response“, where LLMs tend to affirm facts mentioned in questions and display a reluctance to challenge them. To eliminate the inaccurate evaluation caused by this phenomenon, for the golden fact, we artificially construct test data from two perspectives: one consistent with the fact and one inconsistent with the fact. Drawing from the probing experiment on the CALLA dataset, we conclude that IFT data highly correlated with the medical literature corpus serves as a potent catalyst for LLMs, enabling themselves to skillfully employ the medical knowledge acquired during the pre-training phase within interactive scenarios, enhancing accuracy. Furthermore, we design a framework for automatically constructing IFT data based on medical literature and discuss some real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google