Cendol: Open Instruction-tuned Generative Large Language Models for Indonesian Languages

要約

大規模言語モデル (LLM) は、さまざまなドメインや言語で人間に似た驚くべき能力を示します。
しかし、リソースの少ない言語、たとえばインドネシアの先住民言語では顕著な品質のギャップが生じ、そのような言語的文脈では言語が非効果的かつ非効率的になってしまいます。
この品質ギャップを埋めるために、さまざまなモデル サイズにわたるデコーダーのみのアーキテクチャとエンコーダー – デコーダー アーキテクチャの両方を網羅するインドネシアの LLM のコレクションである Cendol を紹介します。
さまざまなタスクにわたる Cendol の有効性を強調し、20% の向上を達成し、目に見えないタスクやインドネシアの先住民言語に一般化する能力を実証します。
さらに、Cendol モデルは、インドネシアの先住民の知識や文化的価値観を捉えることに限界があるにもかかわらず、人間の好感度が向上していることを示しています。
さらに、言語適応のための LoRA などのパラメーター効率の高いチューニングの欠点についても説明します。
あるいは、効率を高めるために語彙適応の使用を提案します。
最後に、Cendol の安全性を評価し、RLHF や安全性の微調整がなくても、英語など 1 つの言語での事前トレーニングの安全性がインドネシア語などの低リソース言語に移行可能であることを示します。

要約(オリジナル)

Large language models (LLMs) show remarkable human-like capability in various domains and languages. However, a notable quality gap arises in low-resource languages, e.g., Indonesian indigenous languages, rendering them ineffective and inefficient in such linguistic contexts. To bridge this quality gap, we introduce Cendol, a collection of Indonesian LLMs encompassing both decoder-only and encoder-decoder architectures across a range of model sizes. We highlight Cendol’s effectiveness across a diverse array of tasks, attaining 20% improvement, and demonstrate its capability to generalize to unseen tasks and indigenous languages of Indonesia. Furthermore, Cendol models showcase improved human favorability despite their limitations in capturing indigenous knowledge and cultural values in Indonesia. In addition, we discuss the shortcomings of parameter-efficient tunings, such as LoRA, for language adaptation. Alternatively, we propose the usage of vocabulary adaptation to enhance efficiency. Lastly, we evaluate the safety of Cendol and showcase that safety in pre-training in one language such as English is transferable to low-resource languages, such as Indonesian, even without RLHF and safety fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google