Language-specific Calibration for Pruning Multilingual Language Models

要約

大規模言語モデル (LLM) プルーニングの最近の進歩により、高い予測パフォーマンスを維持しながら、トレーニング後および再トレーニング不要の設定で最先端の圧縮結果が得られることが示されました。
ただし、現代の LLM は多言語の性質を持ち、英語以外の言語で頻繁に使用されるにもかかわらず、そのような研究では主に英語のテキストを使用した枝刈りの調整が考慮されています。
このペーパーでは、多言語言語モデルの枝刈りを調整するための効果的な戦略を探ることに着手しました。
我々は、多様なタスク、モデル、最先端の枝刈り技術にわたって、多言語モデルの枝刈りのためのさまざまなキャリブレーション言語を比較する、最初の包括的な実証研究を紹介します。
私たちの結果は実用的な提案を示しています。たとえば、ターゲット言語で調整すると効率的に混乱が軽減されますが、必ずしも下流のタスクに利益をもたらすわけではありません。
私たちのさらなる分析実験により、ターゲット言語でのキャリブレーションは主に、流暢さと一貫性に関する言語固有の機能の維持に貢献するが、言語理解や推論などの言語に依存しない機能の捕捉には貢献しない可能性があることが明らかになりました。
最後に、将来の実務者向けに実践的な推奨事項を提供します。

要約(オリジナル)

Recent advances in large language model (LLM) pruning have shown state-of-the-art compression results in post-training and retraining-free settings while maintaining high predictive performance. However, such research mainly considers calibrating pruning using English text, despite the multilingual nature of modern LLMs and their frequent uses in non-English languages. In this paper, we set out to explore effective strategies for calibrating the pruning of multilingual language models. We present the first comprehensive empirical study, comparing different calibration languages for pruning multilingual models across diverse tasks, models, and state-of-the-art pruning techniques. Our results present practical suggestions, for example, calibrating in the target language can efficiently yield lower perplexity, but does not necessarily benefit downstream tasks. Our further analysis experiments unveil that calibration in the target language mainly contributes to preserving language-specific features related to fluency and coherence, but might not contribute to capturing language-agnostic features such as language understanding and reasoning. Last, we provide practical recommendations for future practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google