Extracting and Transferring Abilities For Building Multi-lingual Ability-enhanced Large Language Models

要約

大規模な言語モデル（LLMS）の広範なアプリケーションにとって、多言語能力転送がますます重要になっています。
既存の作業は、低リソース言語では利用できない場合がある多言語能力関連データでのトレーニングに大きく依存しています。
それを解決するために、Maetと名付けられた多言語能力抽出および転送アプローチを提案します。
私たちの重要なアイデアは、LLMSから言語に依存しない能力関連の重みを分解して抽出し、トレーニングなしで単純な追加および減算操作により異なる言語でそれらを転送することです。
特に、私たちのMAETは抽出段階と伝達段階で構成されています。
抽出段階では、最初に特定の能力に高く関連する重要なニューロンを見つけ、次に導入可能な能力固有の重みを抽出するためにそれらを使用します。
転送段階では、能力関連のパラメーターテンソルをさらに選択し、言語的および能力固有の重みに基づいてマージング戦略を設計し、多言語能力強化LLMを構築します。
提案されたアプローチの有効性を実証するために、高リソースの舌と低リソースの舌シナリオの両方で数学的および科学的タスクに関する広範な実験を実施します。
実験結果は、MAETが高度な能力を効果的かつ効率的に抽出して転送し、トレーニングベースのベースライン方法を上回ることができることを示しています。
私たちのコードとデータは、https：//github.com/rucaibox/maetで入手できます。

要約(オリジナル)

Multi-lingual ability transfer has become increasingly important for the broad application of large language models (LLMs). Existing work highly relies on training with the multi-lingual ability-related data, which may be not available for low-resource languages. To solve it, we propose a Multi-lingual Ability Extraction and Transfer approach, named as MAET. Our key idea is to decompose and extract language-agnostic ability-related weights from LLMs, and transfer them across different languages by simple addition and subtraction operations without training. Specially, our MAET consists of the extraction and transfer stages. In the extraction stage, we firstly locate key neurons that are highly related to specific abilities, and then employ them to extract the transferable ability-specific weights. In the transfer stage, we further select the ability-related parameter tensors, and design the merging strategy based on the linguistic and ability specific weights, to build the multi-lingual ability-enhanced LLM. To demonstrate the effectiveness of our proposed approach, we conduct extensive experiments on mathematical and scientific tasks in both high-resource lingual and low-resource lingual scenarios. Experiment results have shown that MAET can effectively and efficiently extract and transfer the advanced abilities, and outperform training-based baseline methods. Our code and data are available at https://github.com/RUCAIBox/MAET.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google