Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs

要約

自然言語処理 (NLP) の最近の進歩は、大量の非構造化データに基づいて言語モデルを事前トレーニングしたおかげで成功しました。
それでも、LM の非構造化の性質と構造化された知識や推論を組み合わせる取り組みが増えています。
特に急速に進化する生物医学 NLP の分野では、知識強化言語モデル (KELM) が、長年にわたり専門家によって厳選された利用可能な生物医学ナレッジ グラフ (KG) を考慮すると、大規模な言語モデルとドメイン固有の知識の間のギャップを埋める有望なツールとして浮上しています。
数十年。
この論文では、軽量のアダプター モジュールを使用して、構造化された生物医学的知識を事前トレーニングされた言語モデル (PLM) に注入するアプローチを開発します。
私たちは、生物医学知識システム UMLS と新しい生化学オントロジー OntoChem という 2 つの大きな KG と、2 つの著名な生物医学 PLM、PubMedBERT および BioLinkBERT を使用しています。
このアプローチには、ナレッジ グラフをより小さなサブグラフに分割し、各サブグラフのアダプター モジュールを微調整し、融合層でナレッジを結合することが含まれます。
文書分類、質問応答、自然言語推論という 3 つの下流タスクのパフォーマンスをテストします。
私たちの方法論が、コンピューティング能力の要件を低く抑えながら、いくつかの例でパフォーマンスの向上につながることを示します。
最後に、結果の詳細な解釈を提供し、将来の研究のための貴重な洞察を報告します。

要約(オリジナル)

Recent advances in natural language processing (NLP) owe their success to pre-training language models on large amounts of unstructured data. Still, there is an increasing effort to combine the unstructured nature of LMs with structured knowledge and reasoning. Particularly in the rapidly evolving field of biomedical NLP, knowledge-enhanced language models (KELMs) have emerged as promising tools to bridge the gap between large language models and domain-specific knowledge, considering the available biomedical knowledge graphs (KGs) curated by experts over the decades. In this paper, we develop an approach that uses lightweight adapter modules to inject structured biomedical knowledge into pre-trained language models (PLMs). We use two large KGs, the biomedical knowledge system UMLS and the novel biochemical ontology OntoChem, with two prominent biomedical PLMs, PubMedBERT and BioLinkBERT. The approach includes partitioning knowledge graphs into smaller subgraphs, fine-tuning adapter modules for each subgraph, and combining the knowledge in a fusion layer. We test the performance on three downstream tasks: document classification,question answering, and natural language inference. We show that our methodology leads to performance improvements in several instances while keeping requirements in computing power low. Finally, we provide a detailed interpretation of the results and report valuable insights for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google