Adapting Multilingual LLMs to Low-Resource Languages with Knowledge Graphs via Adapters

要約

この論文では、感情分析 (SA) および固有表現認識 (NER) における低リソース言語 (LRL) のパフォーマンスを向上させるアダプターを使用して、言語オントロジーからのグラフ知識を多言語大規模言語モデル (LLM) に統合する方法を検討します。
K-ADAPTER や MAD-X などの成功したパラメータ効率の良い微調整技術を基に、多言語グラフからの知識を組み込み、言語関係を通じてさまざまな言語の概念を相互に接続し、LRL 用の多言語 LLM に同様のアプローチを提案します。
。
具体的には、マルタ語、ブルガリア語、インドネシア語、ネパール語、ジャワ語、ウイグル語、チベット語、シンハラ語の 8 つの LRL に焦点を当て、ConceptNet の言語固有セクションから抽出されたデータに基づいて微調整された言語固有のアダプターを採用しています。
ナレッジ グラフでカバーされる言語間での知識の伝達を可能にします。
標準のマスク言語モデリング (MLM)、全単語マスキングを使用した MLM、ターゲット マスキングを使用した MLM など、さまざまな微調整目標を比較し、抽出されたグラフ データの学習と統合における効果を分析します。
言語固有のタスクの実証的評価を通じて、構造化されたグラフの知識が SA および NER の LRL の多言語 LLM のパフォーマンスにどのような影響を与えるかを評価し、低リソースのシナリオに言語モデルを適応させる潜在的な利点についての洞察を提供します。

要約(オリジナル)

This paper explores the integration of graph knowledge from linguistic ontologies into multilingual Large Language Models (LLMs) using adapters to improve performance for low-resource languages (LRLs) in sentiment analysis (SA) and named entity recognition (NER). Building upon successful parameter-efficient fine-tuning techniques, such as K-ADAPTER and MAD-X, we propose a similar approach for incorporating knowledge from multilingual graphs, connecting concepts in various languages with each other through linguistic relationships, into multilingual LLMs for LRLs. Specifically, we focus on eight LRLs — Maltese, Bulgarian, Indonesian, Nepali, Javanese, Uyghur, Tibetan, and Sinhala — and employ language-specific adapters fine-tuned on data extracted from the language-specific section of ConceptNet, aiming to enable knowledge transfer across the languages covered by the knowledge graph. We compare various fine-tuning objectives, including standard Masked Language Modeling (MLM), MLM with full-word masking, and MLM with targeted masking, to analyse their effectiveness in learning and integrating the extracted graph data. Through empirical evaluation on language-specific tasks, we assess how structured graph knowledge affects the performance of multilingual LLMs for LRLs in SA and NER, providing insights into the potential benefits of adapting language models for low-resource scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google