An evaluation of LLMs and Google Translate for translation of selected Indian languages via sentiment and semantic analyses

要約

大規模な言語モデル（LLM）は、低リソース言語を含む言語翻訳にとって顕著です。
Gemini、GPT、Google Translateなど、LLMによって生成された翻訳の品質の評価に関する研究は限られています。
この研究では、サンスクリット語、テルグ語、ヒンディー語を含むインド語の選択されたLLMのセマンティックと感情分析を使用して、この制限に対処します。
専門家によってよく翻訳された顕著なテキストを選択し、LLMを使用して翻訳を英語に生成し、選択した専門家（人間）翻訳と比較します。
私たちの調査結果は、LLMが翻訳の正確性に大きな進歩を遂げた一方で、特に比fig的および哲学的な文脈において、感情と意味的な完全性を維持することに課題が残っていることを示唆しています。
感情分析により、GPT-4OとGPT-3.5は、Google翻訳と比較した場合、Bhagavad Gita（Sanskrit-English）翻訳の感情を維持するのに優れていることが明らかになりました。
Tamas（Hindi-English）とMaha P（Telugu-English）翻訳の場合についても同様の傾向を観察しました。
GPT-4oは、3つの言語の感情の観点から、翻訳でGPT-3.5と同様に実行されます。
Google翻訳と比較した場合、LLMは一般に感情を捉えるための翻訳に優れていることがわかりました。

要約(オリジナル)

Large Language models (LLMs) have been prominent for language translation, including low-resource languages. There has been limited study about the assessment of the quality of translations generated by LLMs, including Gemini, GPT and Google Translate. In this study, we address this limitation by using semantic and sentiment analysis of selected LLMs for Indian languages, including Sanskrit, Telugu and Hindi. We select prominent texts that have been well translated by experts and use LLMs to generate their translations to English, and then we provide a comparison with selected expert (human) translations. Our findings suggest that while LLMs have made significant progress in translation accuracy, challenges remain in preserving sentiment and semantic integrity, especially in figurative and philosophical contexts. The sentiment analysis revealed that GPT-4o and GPT-3.5 are better at preserving the sentiments for the Bhagavad Gita (Sanskrit-English) translations when compared to Google Translate. We observed a similar trend for the case of Tamas (Hindi-English) and Maha P (Telugu-English) translations. GPT-4o performs similarly to GPT-3.5 in the translation in terms of sentiments for the three languages. We found that LLMs are generally better at translation for capturing sentiments when compared to Google Translate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google