ArabianGPT: Native Arabic GPT-based Large Language Model

要約

英語およびラテン語ベースの大規模言語モデル (LLM) が優勢であるため、ネイティブのアラビア語 LLM の顕著な不足が生じています。
この矛盾は、既存のアラビア語モデルに英語のトークンが広く含まれていることで強調され、ネイティブのアラビア語の複雑な形態と構文を処理する際の有効性が損なわれています。
したがって、主にアラビア語の言語要素に焦点を当てた LLM を開発するための理論的かつ実践的な必須事項があります。
このギャップに対処するために、この文書では、アラビア語用に明示的に設計された ArabianLLM スイート内の一連のトランスフォーマー ベースのモデルである ArabianGPT を提案します。
ArabianGPT-0.1B や ArabianGPT-0.3B を含むこれらのモデルは、アラビア語の微妙な言語特性に合わせて、サイズと複雑さが異なります。
これらのモデルに不可欠な AraNizer トークナイザーは、アラビア文字の独特の形態学的側面に対処し、より正確なテキスト処理を保証します。
感情分析や要約などのタスクでモデルを微調整した経験的結果は、大幅な改善を示しています。
センチメント分析では、微調整された ArabianGPT-0.1B モデルは 95% という驚くべき精度を達成し、ベース モデルの 56% から大幅に向上しました。
同様に、要約タスクにおいて、微調整されたモデルは F1 スコアの向上を示し、簡潔な要約を生成する際の精度と再現率が向上したことを示しています。
微調整された ArabianGPT モデルとその基本バージョンをさまざまなベンチマークにわたって比較分析すると、パフォーマンスの微妙な違いが明らかになり、微調整は質問応答や要約などの特定のタスクにプラスの影響を与えます。
これらの発見は、ArabianGPT モデルを特定の NLP タスクにより密接に調整する際の微調整の有効性を強調し、アラビア語 NLP の進歩におけるカスタマイズされたトランスフォーマー アーキテクチャの可能性を強調しています。

要約(オリジナル)

The predominance of English and Latin-based large language models (LLMs) has led to a notable deficit in native Arabic LLMs. This discrepancy is accentuated by the prevalent inclusion of English tokens in existing Arabic models, detracting from their efficacy in processing native Arabic’s intricate morphology and syntax. Consequently, there is a theoretical and practical imperative for developing LLMs predominantly focused on Arabic linguistic elements. To address this gap, this paper proposes ArabianGPT, a series of transformer-based models within the ArabianLLM suite designed explicitly for Arabic. These models, including ArabianGPT-0.1B and ArabianGPT-0.3B, vary in size and complexity, aligning with the nuanced linguistic characteristics of Arabic. The AraNizer tokenizer, integral to these models, addresses the unique morphological aspects of Arabic script, ensuring more accurate text processing. Empirical results from fine-tuning the models on tasks like sentiment analysis and summarization demonstrate significant improvements. For sentiment analysis, the fine-tuned ArabianGPT-0.1B model achieved a remarkable accuracy of 95%, a substantial increase from the base model’s 56%. Similarly, in summarization tasks, fine-tuned models showed enhanced F1 scores, indicating improved precision and recall in generating concise summaries. Comparative analysis of fine-tuned ArabianGPT models against their base versions across various benchmarks reveals nuanced differences in performance, with fine-tuning positively impacting specific tasks like question answering and summarization. These findings underscore the efficacy of fine-tuning in aligning ArabianGPT models more closely with specific NLP tasks, highlighting the potential of tailored transformer architectures in advancing Arabic NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google