MT-Ladder: A Model-Agnostic Framework Boosting LLM-based Machine Translation to the Next Level

要約

GPT-4 のような汎用大規模言語モデル (LLM) は、広範な Web コンテンツを活用することにより、機械翻訳 (MT) において目覚ましい進歩を遂げました。
一方、翻訳固有の LLM は、ドメイン固有の単一言語コーパスで事前トレーニングし、人間が注釈を付けた翻訳データを使用して微調整することによって構築されます。
これらの方法は優れたパフォーマンスにもかかわらず、前例のない規模のコンピューティングとデータ、または人間による大幅な編集と注釈の労力を必要とします。
この論文では、MT 用の一般的な LLM のパフォーマンスを向上させるための、モデルに依存しないコスト効率の高い新しいツールである MT-Ladder を開発します。
MT-Ladder は、追加の人的コストをかけずに既存の LLM から簡単に取得できる擬似リファインメント トリプレットでトレーニングされます。
トレーニング中に、簡単にハード化できるスキーマを使用した階層的な微調整戦略を提案し、MT-Ladder のリファイニング パフォーマンスを段階的に向上させます。
トレーニングされた MT-Ladder は、汎用 LLM とシームレスに統合して、翻訳パフォーマンスを向上させることができます。
Gemma-2B/7B をバックボーンとして利用することで、MT-Ladder-2B は生の翻訳を最上位のオープンソース モデルのレベルに引き上げることができます (例: BigTranslate-13B を XX-En 用に +6.91 BLEU および +3.52 COMET で改良)
)、MT-Ladder-7B はモデルのパフォーマンスをさらに強化して、最先端の GPT-4 と同等にすることができます。
広範なアブレーションと分析により、さまざまな環境における MT-Ladder の有効性が裏付けられています。
コードは https://github.com/fzp0424/Ladder で入手できます。

要約(オリジナル)

General-purpose Large Language Models (LLMs) like GPT-4 have achieved remarkable advancements in machine translation (MT) by leveraging extensive web content. On the other hand, translation-specific LLMs are built by pre-training on domain-specific monolingual corpora and fine-tuning with human-annotated translation data. Despite the superior performance, these methods either demand an unprecedented scale of computing and data or substantial human editing and annotation efforts. In this paper, we develop MT-Ladder, a novel model-agnostic and cost-effective tool to refine the performance of general LLMs for MT. MT-Ladder is trained on pseudo-refinement triplets which can be easily obtained from existing LLMs without additional human cost. During training, we propose a hierarchical fine-tuning strategy with an easy-to-hard schema, improving MT-Ladder’s refining performance progressively. The trained MT-Ladder can be seamlessly integrated with any general-purpose LLMs to boost their translation performance. By utilizing Gemma-2B/7B as the backbone, MT-Ladder-2B can elevate raw translations to the level of top-tier open-source models (e.g., refining BigTranslate-13B with +6.91 BLEU and +3.52 COMET for XX-En), and MT-Ladder-7B can further enhance model performance to be on par with the state-of-the-art GPT-4. Extensive ablation and analysis corroborate the effectiveness of MT-Ladder in diverse settings. Our code is available at https://github.com/fzp0424/Ladder

arxiv情報

提供元, 利用サービス

arxiv.jp, Google