PEFTT: Parameter-Efficient Fine-Tuning for low-resource Tibetan pre-trained language models

要約

大規模言語モデル (LLM) の時代では、従来のモデルのトレーニングは通常のユーザーや機関にとってますます想像できなくなりました。
これらのモデルでの高リソース言語の効率的な微調整の探求は、徐々に人気が高まっている否定できない傾向です。
しかし、チベット語など、リソースの少ないさまざまな言語についてはほとんど調査が行われていません。
チベットの NLP に関する研究は本質的に不足しており、限られています。
チベット語はリソースが少ないため、現時点では大規模な言語モデルが存在しませんが、その日が来るのは間違いありません。
したがって、チベット語のような低リソースの言語モデルを効率的に微調整する研究が非常に必要です。
私たちの研究は、この重大なギャップを埋めるための参考として役立ちます。
チベット語の事前トレーニング済み言語モデル (PLM) の効率的な微調整戦略については、最小限の探索しか行われていません。
公開されている TNCC タイトル データセットに対して、「プロンプト チューニング」、「アダプター軽量微調整」、「プロンプト チューニング + アダプター微調整」の 3 種類の効率的な微調整実験を実施しました。
実験結果は、これらの方法を使用することで大幅な改善が見られたことを示しており、事前トレーニングされたモデルのコンテキストでチベット語のアプリケーションを進歩させるための貴重な洞察を提供します。

要約(オリジナル)

In this era of large language models (LLMs), the traditional training of models has become increasingly unimaginable for regular users and institutions. The exploration of efficient fine-tuning for high-resource languages on these models is an undeniable trend that is gradually gaining popularity. However, there has been very little exploration for various low-resource languages, such as Tibetan. Research in Tibetan NLP is inherently scarce and limited. While there is currently no existing large language model for Tibetan due to its low-resource nature, that day will undoubtedly arrive. Therefore, research on efficient fine-tuning for low-resource language models like Tibetan is highly necessary. Our research can serve as a reference to fill this crucial gap. Efficient fine-tuning strategies for pre-trained language models (PLMs) in Tibetan have seen minimal exploration. We conducted three types of efficient fine-tuning experiments on the publicly available TNCC-title dataset: ‘prompt-tuning,’ ‘Adapter lightweight fine-tuning,’ and ‘prompt-tuning + Adapter fine-tuning.’ The experimental results demonstrate significant improvements using these methods, providing valuable insights for advancing Tibetan language applications in the context of pre-trained models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google