Tuning LLMs with Contrastive Alignment Instructions for Machine Translation in Unseen, Low-resource Languages

要約

この記事では、大規模言語モデル (LLM) 上の機械翻訳 (MT) における 2 つの課題に対処するための、対照的な位置合わせ命令 (AlignInstruct) を紹介します。
1つは、これまでになかった言語へのサポート言語の拡大です。
2 つ目は、低リソース言語のデータの欠如に関係します。
MT 命令 (MTInstruct) によるモデルの微調整は、最初の課題に対する簡単なアプローチです。
ただし、MTInstruct は、2 番目の課題に固有の弱い異言語シグナルによって制限されます。
AlignInstruct は、統計的な単語のアライメントを使用して構築された言語間識別器を介した、言語間の監視を重視しています。
最大 24 の未知の言語での BLOOMZ モデル (1b1、3b、および 7b1) の微調整に基づく結果は、次のことを示しました。(1) LLM は、MTInstruct を使用して未知の言語を効果的に翻訳できます。
(2) AlignInstruct により、英語を含む 48 の翻訳方向にわたって翻訳品質が一貫して向上しました。
(3) 弁別子ベースの命令は、言語をまたがる命令としての生成型命令よりも優れたパフォーマンスを示しました。
(4) AlignInstruct により、30 のゼロショット方向のパフォーマンスが向上しました。

要約(オリジナル)

This article introduces contrastive alignment instructions (AlignInstruct) to address two challenges in machine translation (MT) on large language models (LLMs). One is the expansion of supported languages to previously unseen ones. The second relates to the lack of data in low-resource languages. Model fine-tuning through MT instructions (MTInstruct) is a straightforward approach to the first challenge. However, MTInstruct is limited by weak cross-lingual signals inherent in the second challenge. AlignInstruct emphasizes cross-lingual supervision via a cross-lingual discriminator built using statistical word alignments. Our results based on fine-tuning the BLOOMZ models (1b1, 3b, and 7b1) in up to 24 unseen languages showed that: (1) LLMs can effectively translate unseen languages using MTInstruct; (2) AlignInstruct led to consistent improvements in translation quality across 48 translation directions involving English; (3) Discriminator-based instructions outperformed their generative counterparts as cross-lingual instructions; (4) AlignInstruct improved performance in 30 zero-shot directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google