Testing LLMs’ Capabilities in Annotating Translations Based on an Error Typology Designed for LSP Translation: First Experiments with ChatGPT

要約

この研究では、エラーの類型に基づいてMT出力に注釈を付ける際に、大規模な言語モデル（LLMS）、特にChatGptの機能を調査しています。
主に一般的な言語に焦点を当てた以前の作業とは対照的に、特殊な翻訳でエラーを特定して分類するChatGPTの能力を探ります。
2つの異なるプロンプトをテストし、カスタマイズされたエラーの類型に基づいて、ChatGPTアノテーションをDeeplとChatGpt自体によって生成された翻訳の人間の専門家評価と比較します。
結果は、Deeplによって生成された翻訳の場合、リコールと精度が非常に高いことを示しています。
ただし、エラー分類の精度の程度は、プロンプトの特定の機能とその詳細レベルに依存し、ChatGPTは詳細なプロンプトで非常にうまく機能します。
独自の翻訳を評価するとき、ChatGPTは大幅に低い結果を達成し、自己評価による制限を明らかにします。
これらの結果は、特に特殊なドメインにおける翻訳評価のためのLLMの潜在能力と制限の両方を強調しています。
私たちの実験は、オープンソースLLMの将来の研究への道を開き、同等またはさらに高品質の注釈を生成する可能性があります。
将来的には、特に教師による人間の評価のプロセスを最適化し、学生の編集後の学習と翻訳学習に対するLLMによる注釈の影響を調査することにより、翻訳トレーニングのコンテキストでこの自動評価の実用的な有効性をテストすることも目指しています。

要約(オリジナル)

This study investigates the capabilities of large language models (LLMs), specifically ChatGPT, in annotating MT outputs based on an error typology. In contrast to previous work focusing mainly on general language, we explore ChatGPT’s ability to identify and categorise errors in specialised translations. By testing two different prompts and based on a customised error typology, we compare ChatGPT annotations with human expert evaluations of translations produced by DeepL and ChatGPT itself. The results show that, for translations generated by DeepL, recall and precision are quite high. However, the degree of accuracy in error categorisation depends on the prompt’s specific features and its level of detail, ChatGPT performing very well with a detailed prompt. When evaluating its own translations, ChatGPT achieves significantly poorer results, revealing limitations with self-assessment. These results highlight both the potential and the limitations of LLMs for translation evaluation, particularly in specialised domains. Our experiments pave the way for future research on open-source LLMs, which could produce annotations of comparable or even higher quality. In the future, we also aim to test the practical effectiveness of this automated evaluation in the context of translation training, particularly by optimising the process of human evaluation by teachers and by exploring the impact of annotations by LLMs on students’ post-editing and translation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google