Alignment at Pre-training! Towards Native Alignment for Arabic LLMs

要約

大規模言語モデル (LLM) の調整は、効果的で安全な言語モデルを開発するために重要です。
従来のアプローチは、命令調整または強化学習の段階でのモデルの調整に焦点を当てており、本稿では「ポスト調整」と呼びます。
私たちは、トレーニング前の段階での調整 (「ネイティブ調整」と呼んでいます) には調査の価値があると主張します。
ネイティブ配置は、事後処理に依存するのではなく、コンテンツが最初から配置されていないことを防ぐことを目的としています。
このアプローチでは、広範囲に調整された事前トレーニング データを活用して、事前トレーニングされたモデルの有効性と使いやすさを向上させます。
私たちの研究では、アラビア語 LLM のコンテキストにおけるネイティブ アライメントの適用を特に調査しています。
当社では、モデルのパフォーマンスとアライメントの安定性に対するネイティブ アライメントの影響を評価するために、包括的な実験とアブレーション研究を実施しています。
さらに、さまざまなベンチマークで最先端のパフォーマンスを実証するオープンソースのアラビア語 LLM をリリースし、アラビア語 LLM コミュニティに大きなメリットをもたらします。

要約(オリジナル)

The alignment of large language models (LLMs) is critical for developing effective and safe language models. Traditional approaches focus on aligning models during the instruction tuning or reinforcement learning stages, referred to in this paper as `post alignment’. We argue that alignment during the pre-training phase, which we term `native alignment’, warrants investigation. Native alignment aims to prevent unaligned content from the beginning, rather than relying on post-hoc processing. This approach leverages extensively aligned pre-training data to enhance the effectiveness and usability of pre-trained models. Our study specifically explores the application of native alignment in the context of Arabic LLMs. We conduct comprehensive experiments and ablation studies to evaluate the impact of native alignment on model performance and alignment stability. Additionally, we release open-source Arabic LLMs that demonstrate state-of-the-art performance on various benchmarks, providing significant benefits to the Arabic LLM community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google