Large language models effectively leverage document-level context for literary translation, but critical errors persist

要約

タイトル：大規模言語モデルは文脈を活用して文学翻訳が効果的だが、重大なエラーが残る

要約：

– 今まで、大規模言語モデル（LLMs）は文書レベルの翻訳能力を十分に検証されていなかった。
– Gpt-3.5（text-davinci-003）LLMを使用して文学的段落を翻訳する場合、文単位の翻訳よりも、18の異なる言語ペアにおいて、より高品質の翻訳が得られることを、厳密な人間による評価により示した。
– 評価では、ソースとターゲットの言語に堪能な翻訳者により、スパンレベルのエラー注釈と優先順位判断を求め、約350時間かかった。
– 結果、ディスコースレベルのLLM翻訳者は、文単位のアプローチよりも、誤翻訳、文法エラー、スタイルの不一致が少ないことがわかった。
– しかし、時々内容の抜け漏れなどの重大なエラーが存在し、原著者の声を保証するためには、人間の翻訳者の介入が必要となる。
– 今回の研究はデータセットとエラーアノテーションを公開し、文学翻訳の文書レベルの評価に関する将来の研究を促進することを目的としている。

要約(オリジナル)

Large language models (LLMs) are competitive with the state of the art on a wide range of sentence-level translation datasets. However, their ability to translate paragraphs and documents remains unexplored because evaluation in these settings is costly and difficult. We show through a rigorous human evaluation that asking the Gpt-3.5 (text-davinci-003) LLM to translate an entire literary paragraph (e.g., from a novel) at once results in higher-quality translations than standard sentence-by-sentence translation across 18 linguistically-diverse language pairs (e.g., translating into and out of Japanese, Polish, and English). Our evaluation, which took approximately 350 hours of effort for annotation and analysis, is conducted by hiring translators fluent in both the source and target language and asking them to provide both span-level error annotations as well as preference judgments of which system’s translations are better. We observe that discourse-level LLM translators commit fewer mistranslations, grammar errors, and stylistic inconsistencies than sentence-level approaches. With that said, critical errors still abound, including occasional content omissions, and a human translator’s intervention remains necessary to ensure that the author’s voice remains intact. We publicly release our dataset and error annotations to spur future research on evaluation of document-level literary translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI