Mix Data or Merge Models? Optimizing for Diverse Multi-Task Learning

要約

大規模言語モデル (LLM) は、さまざまなアプリケーションに世界中で採用され、展開されています。
しかし、その安全な使用を確保することは依然として大きな課題です。
優先トレーニングや安全対策は、西洋中心のデータセットに蔓延する危害に過剰適合することが多く、安全プロトコルは多言語設定に拡張できないことがよくあります。
この研究では、多言語コンテキスト内で安全タスクと汎用タスクを組み合わせ、多様なマルチタスク設定でモデルを統合する方法を検討します。
各言語には、さまざまなタスクにわたって、独特で多様な学習課題が生じます。
目的に基づいた結合はデータを混合するより効果的であり、一般的なパフォーマンスと安全性がそれぞれ最大 8% と 10% 向上することがわかりました。
また、言語ベースのマージが非常に効果的であることもわかりました。単一言語で微調整されたモデルをマージすることにより、利用可能な同じデータ混合手法に加えて、すべての言語で全体的なパフォーマンスが 4% 向上し、被害が 7% 削減されました。
データ。
全体として、結合アプローチに関する私たちの包括的な研究は、強力で安全な多言語モデルを構築するための有用なフレームワークを提供します。

要約(オリジナル)

Large Language Models (LLMs) have been adopted and deployed worldwide for a broad variety of applications. However, ensuring their safe use remains a significant challenge. Preference training and safety measures often overfit to harms prevalent in Western-centric datasets, and safety protocols frequently fail to extend to multilingual settings. In this work, we explore model merging in a diverse multi-task setting, combining safety and general-purpose tasks within a multilingual context. Each language introduces unique and varied learning challenges across tasks. We find that objective-based merging is more effective than mixing data, with improvements of up to 8% and 10% in general performance and safety respectively. We also find that language-based merging is highly effective — by merging monolingually fine-tuned models, we achieve a 4% increase in general performance and 7% reduction in harm across all languages on top of the data mixtures method using the same available data. Overall, our comprehensive study of merging approaches provides a useful framework for building strong and safe multilingual models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google