Evaluation of Google Translate for Mandarin Chinese translation using sentiment and semantic analysis

要約

大規模言語モデル (LLM) を使用した機械翻訳は、コミュニケーションを容易にし、世界的に大きな影響を与えています。
北京語は、中国政府とメディアがコミュニケーションに使用する公用語です。
この研究では、感情分析と意味分析を使用して人間の専門家による Google 翻訳の翻訳品質の自動評価を提供します。
私たちの枠組みを示すために、20 世紀初頭の古典的な小説「阿 Q の真実の物語」を選択し、北京語から英語への翻訳を選択しました。
Google 翻訳を使用して指定されたテキストを英語に翻訳し、章ごとの感情分析と意味分析を実行して、抽出された感情をさまざまな翻訳間で比較します。
私たちの結果は、人間の専門家による翻訳と比較した場合、Google 翻訳の精度は意味分析と感情分析の両方の点で異なることを示しています。
Google 翻訳では、中国語の伝統的なほのめかしなど、中国語の特定の単語やフレーズの一部を翻訳できないことがわかりました。
誤訳は、文脈上の重要性や中国の歴史的知識の欠如が原因である可能性があります。

要約(オリジナル)

Machine translation using large language models (LLMs) is having a significant global impact, making communication easier. Mandarin Chinese is the official language used for communication by the government and media in China. In this study, we provide an automated assessment of translation quality of Google Translate with human experts using sentiment and semantic analysis. In order to demonstrate our framework, we select the classic early twentieth-century novel ‘The True Story of Ah Q’ with selected Mandarin Chinese to English translations. We use Google Translate to translate the given text into English and then conduct a chapter-wise sentiment analysis and semantic analysis to compare the extracted sentiments across the different translations. Our results indicate that the precision of Google Translate differs both in terms of semantic and sentiment analysis when compared to human expert translations. We find that Google Translate is unable to translate some of the specific words or phrases in Chinese, such as Chinese traditional allusions. The mistranslations may be due to lack of contextual significance and historical knowledge of China.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google