要約
この研究では、インドの言語的に多様な環境で観光客を支援することを目的として、英語をヒンディー語、テルグ語、カンナダ語に翻訳する際の OpenAI の AI 言語モデルである ChatGPT の有効性を調査します。
翻訳の品質を測定するために、一般知識、食べ物、旅行などのさまざまな分野からの 50 問のテストセットが使用されました。
これらは 5 人のボランティアによって正確さと流暢さについて評価され、その後スコアが BLEU スコアに変換されました。
BLEU スコアは、機械が生成した翻訳と人間による翻訳の近さを評価し、スコアが高いほど翻訳品質が高いことを示します。
ヒンディー語の翻訳は他の翻訳を上回り、優れた精度と流暢さを示しましたが、テルグ語の翻訳は遅れをとっていました。
人間の評価者は翻訳の正確さと流暢さの両方を評価し、言語モデルのパフォーマンスに関する包括的な視点を提供しました。
要約(オリジナル)
This research investigates the effectiveness of ChatGPT, an AI language model by OpenAI, in translating English into Hindi, Telugu, and Kannada languages, aimed at assisting tourists in India’s linguistically diverse environment. To measure the translation quality, a test set of 50 questions from diverse fields such as general knowledge, food, and travel was used. These were assessed by five volunteers for accuracy and fluency, and the scores were subsequently converted into a BLEU score. The BLEU score evaluates the closeness of a machine-generated translation to a human translation, with a higher score indicating better translation quality. The Hindi translations outperformed others, showcasing superior accuracy and fluency, whereas Telugu translations lagged behind. Human evaluators rated both the accuracy and fluency of translations, offering a comprehensive perspective on the language model’s performance.
arxiv情報
| 著者 | Sanjana Kolar,Rohit Kumar |
| 発行日 | 2023-07-28 07:52:26+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google