Predictive Data Analytics with AI: assessing the need for post-editing of MT output by fine-tuning OpenAI LLMs

要約

翻訳品質評価（TQE）は、現代の翻訳制作プロセスにおいて不可欠なステップです。TQEは、機械翻訳（MT）と人力翻訳（HT）の両方の品質を、参照翻訳なしで評価する上で非常に重要です。翻訳品質を自動的に評価したり、単純に推定したりすることができれば、プロセスの最適化を通じて、大幅な効率化を実現できる可能性がある。この研究では、最先端の大規模言語モデル（LLM）をこの目的に使用できるかどうかを検証する。OpenAIのモデルを最良の最先端技術とし、TQEを二値分類タスクとしてアプローチする。英語からイタリア語、ドイツ語、フランス語、日本語、オランダ語、ポルトガル語、トルコ語、中国語を含む8つの言語ペアに対して、我々の実験結果は、微調整された୧⃛(๑⃙⃘⁼̴̀꒳⁼̴́๑⃙⃘)୨⃛が翻訳品質予測タスク、すなわち୧⃛(๑⃙⃘⁼̴́꒳⁼̴̀๑⃙⃘)୨⃛で良いパフォーマンスを示すことができることを示す。もう1つの発見は、3つの異なるバージョンのOpenAIモデルの性能を比較することで、LLMのサイズを単純に大きくしても、このタスクで明らかにより良い性能にはつながらないことである：\それぞれ13B、175B、175Bのパラメータを持つ。

要約(オリジナル)

Translation Quality Evaluation (TQE) is an essential step of the modern translation production process. TQE is critical in assessing both machine translation (MT) and human translation (HT) quality without reference translations. The ability to evaluate or even simply estimate the quality of translation automatically may open significant efficiency gains through process optimisation. This work examines whether the state-of-the-art large language models (LLMs) can be used for this purpose. We take OpenAI models as the best state-of-the-art technology and approach TQE as a binary classification task. On \textbf{eight language pairs} including English to Italian, German, French, Japanese, Dutch, Portuguese, Turkish, and Chinese, our experimental results show that fine-tuned \textbf{\textit{gpt3.5}} can demonstrate good performance on translation quality prediction tasks, i.e. \textit{whether the translation needs to be edited}. Another finding is that simply increasing the sizes of LLMs does not lead to apparent better performances on this task by comparing the performance of three different versions of OpenAI models: \textbf{\textit{curie}}, \textbf{\textit{davinci}}, and \textbf{\textit{gpt3.5}} with 13B, 175B, and 175B parameters, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL