Adapter-based Approaches to Knowledge-enhanced Language Models — A Survey

要約

知識強化言語モデル (KELM) は、大規模な言語モデルとドメイン固有の知識の間のギャップを埋める有望なツールとして浮上しています。
KELM は、ナレッジ グラフ (KG) を活用することで、事実の正確性を高め、幻覚を軽減できます。
これらは、計算負荷と致命的な忘れのリスクを軽減するために、アダプター モジュールと組み合わせて使用​​されることがよくあります。
この論文では、KELM に対するアダプターベースのアプローチに関する系統的文献レビュー (SLR) を実施します。
私たちは、定量的および定性的分析を通じて、この分野の既存の方法論の構造化された概要を提供し、個々のアプローチの長所と潜在的な欠点を調査します。
一般的な知識とドメイン固有のアプローチが、さまざまなアダプター アーキテクチャや下流タスクとともに頻繁に調査されていることを示します。
特に人気の高い生物医学分野に焦点を当て、既存の KELM の洞察力に富んだパフォーマンス比較を提供しました。
主な傾向を概説し、有望な将来の方向性を提案します。

要約(オリジナル)

Knowledge-enhanced language models (KELMs) have emerged as promising tools to bridge the gap between large-scale language models and domain-specific knowledge. KELMs can achieve higher factual accuracy and mitigate hallucinations by leveraging knowledge graphs (KGs). They are frequently combined with adapter modules to reduce the computational load and risk of catastrophic forgetting. In this paper, we conduct a systematic literature review (SLR) on adapter-based approaches to KELMs. We provide a structured overview of existing methodologies in the field through quantitative and qualitative analysis and explore the strengths and potential shortcomings of individual approaches. We show that general knowledge and domain-specific approaches have been frequently explored along with various adapter architectures and downstream tasks. We particularly focused on the popular biomedical domain, where we provided an insightful performance comparison of existing KELMs. We outline the main trends and propose promising future directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google