Domain-Specific Translation with Open-Source Large Language Models: Resource-Oriented Analysis

要約

この作業では、オープンソースのオートレグレッシブデコーダーのみの大型言語モデル（LLMS）のドメイン固有の翻訳パフォーマンスを、タスク指向の機械翻訳（MT）モデルと比較します。
私たちの実験は、医療ドメインに焦点を当て、さまざまなリソースの可用性を備えた4つの言語の方向性をカバーしています：英語からフランス語、英語からポルトガル、英語からスワヒリ語、スワヒリ語から英語です。
最近の進歩にもかかわらず、LLMSは、NLLB-200などの多言語エンコーダーデコーダーMTモデルと比較して、特殊な翻訳の重要な品質ギャップを示しています。
私たちの結果は、NLLB-200 3.3Bが、4つの言語方向のうち3つの方向に7-8Bパラメーター範囲で評価されたすべてのLLMを上回ることを示しています。
微調整は、ミストラルやLlamaなどのLLMSのパフォーマンスを向上させますが、これらのモデルは微調整されたNLLB-2003.3Bモデルと比較して依然としてパフォーマンスが低いです。
私たちの調査結果は、特に中型および低リソースの設定で、高品質のドメイン固有の翻訳を実現するための専門MTモデルの継続的な必要性を強調しています。
さらに、8Bバリエーションよりも大きなLLMSの優れたパフォーマンスは、ターゲットドメイン固有の中規模言語モデルの潜在的な価値を示唆しており、ターゲットを絞ったデータ選択と知識蒸留アプローチを採用して、特殊な翻訳タスクの品質と効率の両方を強化します。

要約(オリジナル)

In this work, we compare the domain-specific translation performance of open-source autoregressive decoder-only large language models (LLMs) with task-oriented machine translation (MT) models. Our experiments focus on the medical domain and cover four language directions with varied resource availability: English-to-French, English-to-Portuguese, English-to-Swahili, and Swahili-to-English. Despite recent advancements, LLMs demonstrate a significant quality gap in specialized translation compared to multilingual encoder-decoder MT models such as NLLB-200. Our results indicate that NLLB-200 3.3B outperforms all evaluated LLMs in the 7-8B parameter range across three out of the four language directions. While fine-tuning improves the performance of LLMs such as Mistral and Llama, these models still underperform compared to fine-tuned NLLB-200 3.3B models. Our findings highlight the ongoing need for specialized MT models to achieve high-quality domain-specific translation, especially in medium-resource and low-resource settings. Moreover, the superior performance of larger LLMs over their 8B variants suggests potential value in pre-training domain-specific medium-sized language models, employing targeted data selection and knowledge distillation approaches to enhance both quality and efficiency in specialized translation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google