Evaluating Telugu Proficiency in Large Language Models_ A Comparative Analysis of ChatGPT and Gemini

要約

大規模な言語モデル（LLMS）の卓越性が高まっているため、英語を超えた能力の調査が必要です。
この研究では、2つの主要なLLMSであるChatGptとGeminiのテルグ語の言語習熟度を調査しています。
挨拶、文法、語彙、一般的なフレーズ、タスクの完了、および状況的推論を含む20の質問のセットを通して、この研究はテルグ語の取り扱いにおける長所と短所を掘り下げます。
分析の目的は、テルグ語の文法構造のより深い理解を示すLLMを特定し、より広い語彙を持ち、執筆や推論などのタスクで優れたパフォーマンスを示すことを目的としています。
毎日のテルグ語の表現を理解して使用する能力を比較することにより、研究は実際の言語の相互作用に対する彼らの適合性に光を当てています。
さらに、適応性と推論機能の評価は、各LLMがテルグ語を活​​用して動的な状況に対応する方法についての洞察を提供します。
この比較分析は、AIの多言語機能に関する継続的な議論に貢献し、テルグ語を話すコミュニティとシームレスに統合できるLLMSの開発における将来の研究への道を開きます。

要約(オリジナル)

The growing prominence of large language models (LLMs) necessitates the exploration of their capabilities beyond English. This research investigates the Telugu language proficiency of ChatGPT and Gemini, two leading LLMs. Through a designed set of 20 questions encompassing greetings, grammar, vocabulary, common phrases, task completion, and situational reasoning, the study delves into their strengths and weaknesses in handling Telugu. The analysis aims to identify the LLM that demonstrates a deeper understanding of Telugu grammatical structures, possesses a broader vocabulary, and exhibits superior performance in tasks like writing and reasoning. By comparing their ability to comprehend and use everyday Telugu expressions, the research sheds light on their suitability for real-world language interaction. Furthermore, the evaluation of adaptability and reasoning capabilities provides insights into how each LLM leverages Telugu to respond to dynamic situations. This comparative analysis contributes to the ongoing discussion on multilingual capabilities in AI and paves the way for future research in developing LLMs that can seamlessly integrate with Telugu-speaking communities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google