Large language models effectively leverage document-level context for literary translation, but critical errors persist

要約

タイトル：大規模言語モデルは文脈を活用して文学翻訳を実現できるが、重要なエラーが存在する
要約：
-大規模言語モデル（LLM）は、広範な文レベルの翻訳データセットにおいて現状最高の水準に比肩する性能を発揮するが、文やドキュメントを翻訳することについては未だ探究されていない。
-熟練した翻訳者による厳密な評価を通じて、Gpt-3.5（text-davinci-003）LLMによる、小説などの大規模なパラグラフを一度に翻訳することが、18の異なる言語ペア（日本語、ポーランド語、英語など）に対して、文単位での翻訳よりも高品質であることが示された。
-注釈と分析に必要な約350時間の労力を要する当社の評価は、翻訳元と翻訳先の両方の言語に堪能な翻訳者を雇い、エラーアノテーションの範囲とどのシステムの翻訳の方が優れているかの好みの判断を提供してもらうことで行われた。
-対話レベルのLLM翻訳では、文レベルのアプローチよりも、誤翻訳、文法エラー、文体の不一致が少なく、注意すべきエラーが減少した。
-しかしながら、時に内容が欠落するなど、重要なエラーが依然として存在しているため、人間の翻訳者の介入が必要であり、著者の声を維持するためには人間の介入が必要である。
-ドキュメントレベルの文学翻訳の評価に関する将来の研究を促進するために、当社のデータセットとエラーアノテーションを公開する。

要約(オリジナル)

Large language models (LLMs) are competitive with the state of the art on a wide range of sentence-level translation datasets. However, their ability to translate paragraphs and documents remains unexplored because evaluation in these settings is costly and difficult. We show through a rigorous human evaluation that asking the Gpt-3.5 (text-davinci-003) LLM to translate an entire literary paragraph (e.g., from a novel) at once results in higher-quality translations than standard sentence-by-sentence translation across 18 linguistically-diverse language pairs (e.g., translating into and out of Japanese, Polish, and English). Our evaluation, which took approximately 350 hours of effort for annotation and analysis, is conducted by hiring translators fluent in both the source and target language and asking them to provide both span-level error annotations as well as preference judgments of which system’s translations are better. We observe that discourse-level LLM translators commit fewer mistranslations, grammar errors, and stylistic inconsistencies than sentence-level approaches. With that said, critical errors still abound, including occasional content omissions, and a human translator’s intervention remains necessary to ensure that the author’s voice remains intact. We publicly release our dataset and error annotations to spur future research on evaluation of document-level literary translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI