Prefix Text as a Yarn: Eliciting Non-English Alignment in Foundation Language Model

要約

教師あり微調整 (SFT) は、基盤となる大規模言語モデル (LLM) の出力を特定の好みに合わせて調整するための直接的なアプローチでしたが、この調整の深さについて懸念が生じており、それが単に「表面的」であることを示唆するいくつかの批評があります。
。
我々は、異言語生成タスクの範囲内でこの仮説を批判的に検証し、SFT の有効性が異言語生成をガイドするための事前のトークンへの依存によって制限される可能性があることを提案します。
この重要な洞察に基づいて、また、SFT 用の英語以外のデータのコストが高く利用可能性が限られていることによってもたらされる課題に対応して、PreTTY と呼ばれる新しいトレーニング不要のアライメント手法を導入します。
Foundation LLM と SFT LLM は、トレーニングなしで同等のパフォーマンスを達成します。
8 つの言語にわたる機械翻訳と品詞タグ付けの実験により、言語をまたいだ設定における PreTTY の有効性が実証されました。
注目すべきことに、前のトークンを 1 つまたは 2 つだけ使用してデコード プロセスを開始することで、基盤 LLM は対応する SFT と同等のパフォーマンスを達成できます。
この方法は、SFT に代わる費用対効果の高い代替手段を提供し、多言語 LLM の民主化を推進します。

要約(オリジナル)

While supervised fine-tuning (SFT) has been a straightforward approach for tailoring the output of foundation large language model (LLM) to specific preferences, concerns have been raised about the depth of this alignment, with some critiques suggesting it is merely ‘superficial’. We critically examine this hypothesis within the scope of cross-lingual generation tasks, proposing that the effectiveness of SFT may be constrained by its reliance on prior tokens to guide cross-lingual generation. Based on this crucial insight, and in response to the challenges posed by the costly and limited availability of non-English data for SFT, we introduce a novel training-free alignment method named PreTTY, which employs minimal task-related prior tokens to bridge the foundation LLM and the SFT LLM, achieving comparable performance without training. Experiments on machine translation and part-of-speech tagging across eight languages demonstrate the efficacy of PreTTY in cross-lingual settings. Remarkably, by initiating the decoding process with only one or two prior tokens, foundation LLMs can achieve performance comparable to their SFT counterparts. This method presents a cost-effective alternative to SFT and advances the democratization of multilingual LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google