How Much Data is Enough Data? Fine-Tuning Large Language Models for In-House Translation: Performance Evaluation Across Multiple Dataset Sizes

要約

デコーダ専用 LLM は、広範なデータセットから学習して高品質の翻訳を生成する能力により、MT で優れたパフォーマンスを示しています。
ただし、LLM は、組織固有の翻訳に必要なニュアンスやスタイルに苦労することがよくあります。
この研究では、精度と効率を高めるための貴重なリソースとして翻訳メモリ (TM) を活用して、大規模言語モデル (LLM)、特に Llama 3 8B Instruct を微調整することの有効性を調査します。
ソフトウェア分野の特定の組織の TM を使用して Llama 3 モデルを微調整した場合の影響を調査します。
私たちの実験では、さまざまなリソース レベルの言語にわたる 5 つの翻訳方向 (英語からブラジル系ポルトガル語、チェコ語、ドイツ語、フィンランド語、韓国語へ) をカバーしています。
さまざまなサイズのトレーニング データセット (1,000 から 207,000 セグメント) を分析して、翻訳品質への影響を評価します。
トレーニング セットごとに個別のモデルを微調整し、自動メトリクス、BLEU、chrF++、TER、COMET に基づいてパフォーマンスを評価します。
私たちの調査結果では、すべての指標にわたってデータセットが大きくなると翻訳パフォーマンスが向上することが明らかになりました。
平均して、BLEU スコアと COMET スコアは、ベースライン モデルに対して最大のトレーニング セットでそれぞれ 13 ポイントと 25 ポイント増加します。
特に、1k と 2k の例のみを微調整すると、ベースライン モデルと比較してパフォーマンスが低下します。
ただし、トレーニング データセットのサイズが増加するにつれて、大幅な改善が見られます。
この調査では、TM と LLM を統合して、企業の特定のニーズに合わせたオーダーメイドの翻訳モデルを作成し、翻訳の品質を向上させ、納期を短縮できる可能性を強調しています。
このアプローチは、特に狭い領域で最適な翻訳結果を得るために TM と LLM を活用しようとしている組織に貴重な洞察を提供します。

要約(オリジナル)

Decoder-only LLMs have shown impressive performance in MT due to their ability to learn from extensive datasets and generate high-quality translations. However, LLMs often struggle with the nuances and style required for organisation-specific translation. In this study, we explore the effectiveness of fine-tuning Large Language Models (LLMs), particularly Llama 3 8B Instruct, leveraging translation memories (TMs), as a valuable resource to enhance accuracy and efficiency. We investigate the impact of fine-tuning the Llama 3 model using TMs from a specific organisation in the software sector. Our experiments cover five translation directions across languages of varying resource levels (English to Brazilian Portuguese, Czech, German, Finnish, and Korean). We analyse diverse sizes of training datasets (1k to 207k segments) to evaluate their influence on translation quality. We fine-tune separate models for each training set and evaluate their performance based on automatic metrics, BLEU, chrF++, TER, and COMET. Our findings reveal improvement in translation performance with larger datasets across all metrics. On average, BLEU and COMET scores increase by 13 and 25 points, respectively, on the largest training set against the baseline model. Notably, there is a performance deterioration in comparison with the baseline model when fine-tuning on only 1k and 2k examples; however, we observe a substantial improvement as the training dataset size increases. The study highlights the potential of integrating TMs with LLMs to create bespoke translation models tailored to the specific needs of businesses, thus enhancing translation quality and reducing turn-around times. This approach offers a valuable insight for organisations seeking to leverage TMs and LLMs for optimal translation outcomes, especially in narrower domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google