Editing Factual Knowledge and Explanatory Ability of Medical Large Language Models

要約

モデル編集の目的は、無関係な知識をそのまま残しながら、特定の知識に関連した大規模言語モデル (LLM) の動作を正確に変更することです。
このアプローチは、LLM の幻覚や古い情報の問題に対処するのに効果的であることが証明されています。
ただし、この分野では幻覚の解決が急務であるにもかかわらず、モデル編集を使用して医療分野の知識を修正する可能性は、依然としてほとんど解明されていません。
私たちの観察は、現在の方法が医療分野の専門的かつ複雑な知識を扱う際に重大な課題に直面していることを示しています。
したがって、私たちは医療モデル編集のための新しいレイヤーワイズ スケーラブル アダプター戦略である MedLaSA を提案します。
MedLaSA は、医療モデル編集のための追加パラメーターの追加と、検索して編集する方法の両方の長所を活用します。
因果追跡を利用して、さまざまな層にわたるニューロンの知識の関連性を特定し、各知識の関連性の値から対応するスケール セットを生成します。
続いて、LLM の高密度層にスケーラブルなアダプターを組み込みます。
これらのアダプターには、対応する特定の知識に基づいてスケーリング値が割り当てられ、アダプターの重みとランクの調整が可能になります。
コンテンツが類似しているほど、それらの間のスケールの一貫性が高くなります。
これにより、無関係な知識への影響を回避しながら、意味的に同一の知識を正確に編集できます。
LLM の行動に対する編集の影響を評価するために、医療領域に対する 2 つのモデル編集研究を提案します。(1) 医療専門分野のための事実知識の編集と、(2) 複雑な知識の説明能力の編集です。
私たちは 2 つの新しい医療ベンチマーク データセットを構築し、一連の挑戦的で包括的な指標を導入します。
医療 LLM に関する広範な実験により、無関係な知識に影響を与えることなく MedLaSA の編集効率が実証されました。

要約(オリジナル)

Model editing aims to precisely alter the behaviors of large language models (LLMs) in relation to specific knowledge, while leaving unrelated knowledge intact. This approach has proven effective in addressing issues of hallucination and outdated information in LLMs. However, the potential of using model editing to modify knowledge in the medical field remains largely unexplored, even though resolving hallucination is a pressing need in this area. Our observations indicate that current methods face significant challenges in dealing with specialized and complex knowledge in medical domain. Therefore, we propose MedLaSA, a novel Layer-wise Scalable Adapter strategy for medical model editing. MedLaSA harnesses the strengths of both adding extra parameters and locate-then-edit methods for medical model editing. We utilize causal tracing to identify the association of knowledge in neurons across different layers, and generate a corresponding scale set from the association value for each piece of knowledge. Subsequently, we incorporate scalable adapters into the dense layers of LLMs. These adapters are assigned scaling values based on the corresponding specific knowledge, which allows for the adjustment of the adapter’s weight and rank. The more similar the content, the more consistent the scale between them. This ensures precise editing of semantically identical knowledge while avoiding impact on unrelated knowledge. To evaluate the editing impact on the behaviours of LLMs, we propose two model editing studies for medical domain: (1) editing factual knowledge for medical specialization and (2) editing the explanatory ability for complex knowledge. We build two novel medical benchmarking datasets and introduce a series of challenging and comprehensive metrics. Extensive experiments on medical LLMs demonstrate the editing efficiency of MedLaSA, without affecting unrelated knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google