要約
大規模言語モデル (LLM) の注目度が高まっているため、英語を超えたその機能の探求が必要になっています。
この調査では、2 つの主要な LLM である ChatGPT と Gemini のテルグ語能力を調査します。
この研究では、挨拶、文法、語彙、一般的なフレーズ、タスクの完了、状況推論を含む 20 の質問セットを通じて、テルグ語を扱う際の長所と短所を掘り下げています。
この分析の目的は、テルグ語の文法構造をより深く理解し、より幅広い語彙を持ち、ライティングや推論などのタスクで優れたパフォーマンスを発揮する LLM を特定することです。
この研究では、日常的なテルグ語表現を理解して使用する能力を比較することで、彼らが現実世界の言語でのやり取りに適しているかどうかを明らかにしています。
さらに、適応性と推論能力の評価により、各 LLM が動的な状況に対応するためにテルグ語をどのように活用しているかについての洞察が得られます。
この比較分析は、AI の多言語機能に関する進行中の議論に貢献し、テルグ語を話すコミュニティとシームレスに統合できる LLM を開発する将来の研究への道を開きます。
要約(オリジナル)
The growing prominence of large language models (LLMs) necessitates the exploration of their capabilities beyond English. This research investigates the Telugu language proficiency of ChatGPT and Gemini, two leading LLMs. Through a designed set of 20 questions encompassing greetings, grammar, vocabulary, common phrases, task completion, and situational reasoning, the study delves into their strengths and weaknesses in handling Telugu. The analysis aims to identify the LLM that demonstrates a deeper understanding of Telugu grammatical structures, possesses a broader vocabulary, and exhibits superior performance in tasks like writing and reasoning. By comparing their ability to comprehend and use everyday Telugu expressions, the research sheds light on their suitability for real-world language interaction. Furthermore, the evaluation of adaptability and reasoning capabilities provides insights into how each LLM leverages Telugu to respond to dynamic situations. This comparative analysis contributes to the ongoing discussion on multilingual capabilities in AI and paves the way for future research in developing LLMs that can seamlessly integrate with Telugu-speaking communities.
arxiv情報
| 著者 | Katikela Sreeharsha Kishore,Rahimanuddin Shaik |
| 発行日 | 2024-04-30 08:55:01+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google