Evaluating the Translation Performance of Large Language Models Based on Euas-20

要約

近年、深層学習技術の急速な発展に伴い、BERT や GPT などの大規模言語モデル (LLM) が自然言語処理タスクにおいて画期的な成果を上げています。
自然言語処理の中核タスクの 1 つである機械翻訳 (MT) も、大規模な言語モデルの開発の恩恵を受け、質的な飛躍を達成しました。
大規模な言語モデルによって翻訳パフォーマンスが大幅に向上したにもかかわらず、機械翻訳は依然として多くの課題に直面しています。
したがって、この論文では、翻訳タスクにおける大規模言語モデルのパフォーマンス、さまざまな言語での翻訳能力、研究者と開発者向けのLLMの翻訳能力に対する事前トレーニングデータの効果を評価するためにデータセットEuas-20を構築します。
。

要約(オリジナル)

In recent years, with the rapid development of deep learning technology, large language models (LLMs) such as BERT and GPT have achieved breakthrough results in natural language processing tasks. Machine translation (MT), as one of the core tasks of natural language processing, has also benefited from the development of large language models and achieved a qualitative leap. Despite the significant progress in translation performance achieved by large language models, machine translation still faces many challenges. Therefore, in this paper, we construct the dataset Euas-20 to evaluate the performance of large language models on translation tasks, the translation ability on different languages, and the effect of pre-training data on the translation ability of LLMs for researchers and developers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google