Fine-Tuning Large Language Models to Translate: Will a Touch of Noisy Data in Misaligned Languages Suffice?

要約

従来、多言語機械翻訳の成功は、トレーニング データの 3 つの重要な要素、つまり大容量、多様な翻訳方向、高品質に起因すると考えられます。
翻訳用の大規模言語モデル (LLM) を微調整する現在の実践において、私たちはこれらすべての要素の重要性を再考しています。
LLM は、わずか 32 個のトレーニング インスタンスで微調整された後でも強力な翻訳能力を示し、単一の翻訳方向で微調整することで、LLM が複数の方向に効果的に翻訳できることがわかりました。
ただし、方向の選択は重要です。ターゲット側で英語を使用して LLM を微調整すると、タスクの誤解が生じる可能性があり、英語以外の言語への翻訳が妨げられます。
同様の問題は、ノイズが並列データのターゲット側に導入された場合、特にターゲット言語が LLM の事前トレーニングで適切に表現されている場合に発生します。
対照的に、過小評価されている言語のノイズの影響はそれほど顕著ではありません。
私たちの調査結果は、アライメントを成功させるには、モデルに「表面的な」焦点を維持するように教え、それによって翻訳を超えた誤ったバイアスの学習を回避するかどうかにかかっていることを示唆しています。

要約(オリジナル)

Traditionally, success in multilingual machine translation can be attributed to three key factors in training data: large volume, diverse translation directions, and high quality. In the current practice of fine-tuning large language models (LLMs) for translation, we revisit the importance of all these factors. We find that LLMs display strong translation capability after being fine-tuned on as few as 32 training instances, and that fine-tuning on a single translation direction effectively enables LLMs to translate in multiple directions. However, the choice of direction is critical: fine-tuning LLMs with English on the target side can lead to task misinterpretation, which hinders translations into non-English languages. A similar problem arises when noise is introduced into the target side of parallel data, especially when the target language is well-represented in the LLM’s pre-training. In contrast, noise in an under-represented language has a less pronounced effect. Our findings suggest that attaining successful alignment hinges on teaching the model to maintain a ‘superficial’ focus, thereby avoiding the learning of erroneous biases beyond translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google