Can We Edit LLMs for Long-Tail Biomedical Knowledge?

要約

知識編集は、内部知識を変更することにより、大規模な言語モデル（LLMS）を更新するための効果的なアプローチとして浮上しています。
ただし、生物医学のドメインへの適用は、まれで頻繁な情報が一般的である生物医学的知識の長期尾の分布により、独自の課題に直面しています。
この論文では、最初の包括的な研究を実施して、長期尾の生物医学的知識を編集するための知識編集方法の有効性を調査します。
我々の結果は、既存の編集方法は長期尾の生物医学的知識に対するLLMSのパフォーマンスを向上させることができるが、編集後も長期尾の知識に関するパフォーマンスが高周波の人気知識よりも劣っていることを示しています。
私たちのさらなる分析により、長期尾の生物医学的知識には、1つの主題と関係が複数のオブジェクトにリンクするか、1対多数の知識が含まれていることが明らかになりました。
この1対多くの知識のこの高い有病率は、LLMSの長期尾の生物医学的知識の理解を改善する際の知識編集の有効性を制限し、このパフォーマンスギャップを埋めるためのカスタマイズされた戦略の必要性を強調しています。

要約(オリジナル)

Knowledge editing has emerged as an effective approach for updating large language models (LLMs) by modifying their internal knowledge. However, their application to the biomedical domain faces unique challenges due to the long-tailed distribution of biomedical knowledge, where rare and infrequent information is prevalent. In this paper, we conduct the first comprehensive study to investigate the effectiveness of knowledge editing methods for editing long-tail biomedical knowledge. Our results indicate that, while existing editing methods can enhance LLMs’ performance on long-tail biomedical knowledge, their performance on long-tail knowledge remains inferior to that on high-frequency popular knowledge, even after editing. Our further analysis reveals that long-tail biomedical knowledge contains a significant amount of one-to-many knowledge, where one subject and relation link to multiple objects. This high prevalence of one-to-many knowledge limits the effectiveness of knowledge editing in improving LLMs’ understanding of long-tail biomedical knowledge, highlighting the need for tailored strategies to bridge this performance gap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google