SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment

要約

英語推論タスクにおいて大規模言語モデル (LLM) によって大幅な改善が達成されたにもかかわらず、これらのモデルは多言語推論に引き続き苦戦しています。
最近の研究では、フルパラメータと 2 段階のトレーニング パラダイムを利用して、最初に英語以外の質問を理解し、次に推論するようにモデルを教えています。
ただし、この方法には、大量の計算リソースのコンピューティングと壊滅的な忘却の両方が発生します。
根本的な原因は、多言語の理解を高めるという主な目的で、第 1 段階で過剰な数の無関係なレイヤーとパラメーターが調整されていることです。
言語の表現学習は下位層でのみ行われるという調査結果を踏まえて、多言語対応を担当する層を正確に特定し微調整する、効率的な多言語推論調整アプローチを提案します。
実験結果によると、私たちの手法である SLAM は、7B および 13B LLM 内のすべてのパラメーターの 6.5 ～ 8% を含む 6 つのレイヤーのフィードフォワード サブレイヤーのみを調整し、10 言語にわたるすべての強力なベースラインよりも優れた平均パフォーマンスを達成することが示されています。
一方、SLAM にはトレーニング ステージが 1 つしか含まれていないため、2 ステージの方法と比較してトレーニング時間が 4.1 ～ 11.9 短縮されます。

要約(オリジナル)

Despite the significant improvements achieved by large language models (LLMs) in English reasoning tasks, these models continue to struggle with multilingual reasoning. Recent studies leverage a full-parameter and two-stage training paradigm to teach models to first understand non-English questions and then reason. However, this method suffers from both substantial computational resource computing and catastrophic forgetting. The fundamental cause is that, with the primary goal of enhancing multilingual comprehension, an excessive number of irrelevant layers and parameters are tuned during the first stage. Given our findings that the representation learning of languages is merely conducted in lower-level layers, we propose an efficient multilingual reasoning alignment approach that precisely identifies and fine-tunes the layers responsible for handling multilingualism. Experimental results show that our method, SLAM, only tunes 6 layers’ feed-forward sub-layers including 6.5-8% of all parameters within 7B and 13B LLMs, achieving superior average performance than all strong baselines across 10 languages. Meanwhile, SLAM only involves one training stage, reducing training time by 4.1-11.9 compared to the two-stage method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google