IKUN for WMT24 General MT Task: LLMs Are here for Multilingual Machine Translation

要約

この文書では、WMT24 の一般的な機械翻訳タスク用に開発された 2 つの多言語システム、IKUN と IKUN-C を紹介します。
IKUN と IKUN-C は、それぞれ Llama-3-8b と Mistral-7B-v0.3 上に構築されたオープン システムと制約付きシステムを表します。
どちらのシステムも、単一のモデルを使用して 11 言語の方向すべてを処理できるように設計されています。
自動評価指標によると、IKUN-C はすべての制約付きシステムで 6 回の 1 位フィニッシュと 3 回の 2 位フィニッシュを達成し、IKUN はオープン システムと制約付きシステムの両方で 1 回の 1 位と 2 回の 2 位フィニッシュを確保しました。
これらの有望な結果は、大規模言語モデル (LLM) が効果的な多言語機械翻訳に必要な熟練度のレベルに近づいていることを示唆しています。
このシステムは 2 段階のアプローチに基づいています。まず、10 言語の単言語データで継続的な事前トレーニングを行い、次に 11 言語方向の高品質の並列データで微調整します。
IKUN と IKUN-C の主な違いは、単一言語の事前トレーニング戦略にあります。
IKUN-C は制約付きの単一言語データを使用して事前トレーニングされますが、IKUN は OSCAR データセットからの単一言語データを活用します。
第 2 フェーズでは、両方のシステムが、11 言語ペアすべてについて、NTREX、Flores、および WMT16 ～ 23 から供給された並列データに基づいて微調整されます。

要約(オリジナル)

This paper introduces two multilingual systems, IKUN and IKUN-C, developed for the general machine translation task in WMT24. IKUN and IKUN-C represent an open system and a constrained system, respectively, built on Llama-3-8b and Mistral-7B-v0.3. Both systems are designed to handle all 11 language directions using a single model. According to automatic evaluation metrics, IKUN-C achieved 6 first-place and 3 second-place finishes among all constrained systems, while IKUN secured 1 first-place and 2 second-place finishes across both open and constrained systems. These encouraging results suggest that large language models (LLMs) are nearing the level of proficiency required for effective multilingual machine translation. The systems are based on a two-stage approach: first, continuous pre-training on monolingual data in 10 languages, followed by fine-tuning on high-quality parallel data for 11 language directions. The primary difference between IKUN and IKUN-C lies in their monolingual pre-training strategy. IKUN-C is pre-trained using constrained monolingual data, whereas IKUN leverages monolingual data from the OSCAR dataset. In the second phase, both systems are fine-tuned on parallel data sourced from NTREX, Flores, and WMT16-23 for all 11 language pairs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google