Leveraging Parameter Efficient Training Methods for Low Resource Text Classification: A Case Study in Marathi

要約

リソースの少ない言語でのデジタル コンテンツの急増に伴い、これらの言語に合わせた高度な自然言語処理 (NLP) 技術に対する需要が高まっています。
BERT (Bidirectional Encoder Representations from Transformers) は、数多くの NLP アーキテクチャおよび言語モデルの基礎フレームワークとして機能し、低リソース NLP モデルの開発に採用されることが増えています。
パラメーター効率の良い微調整 (PEFT) は、大規模言語モデル (LLM) を微調整し、トレーニング パラメーターをある程度削減して、モデルのトレーニングに必要な計算コストを削減し、完全に微調整されたモデルと同等の結果を達成する方法です。
。
この研究では、インドの低リソース言語マラーティー語に対する PEFT 手法の研究を紹介します。
私たちは、さまざまな単言語および多言語のマラーティー語 BERT モデルに適用される PEFT 手法の包括的な分析を実行します。
これらのアプローチは、MahaSent、MahaHate、MahaNews などの著名なテキスト分類データセットで評価されます。
PEFT 技術を組み込むと、モデルのトレーニング速度が大幅に向上し、モデルの開発と展開の重要な側面に対処できることが実証されています。
この研究では、大規模言語モデルの低ランク適応 (LoRA) と、低リソースのテキスト分類のためのアダプター手法を調査します。
これらの方法は完全な微調整に匹敵し、精度を損なうことなく使用できることを示します。
この研究は、マラーティー語 BERT モデルの有効性に関する貴重な洞察に貢献し、マラーティー語および類似のインド言語における NLP 機能の継続的な進歩の基盤を提供します。

要約(オリジナル)

With the surge in digital content in low-resource languages, there is an escalating demand for advanced Natural Language Processing (NLP) techniques tailored to these languages. BERT (Bidirectional Encoder Representations from Transformers), serving as the foundational framework for numerous NLP architectures and language models, is increasingly employed for the development of low-resource NLP models. Parameter Efficient Fine-Tuning (PEFT) is a method for fine-tuning Large Language Models (LLMs) and reducing the training parameters to some extent to decrease the computational costs needed for training the model and achieve results comparable to a fully fine-tuned model. In this work, we present a study of PEFT methods for the Indic low-resource language Marathi. We conduct a comprehensive analysis of PEFT methods applied to various monolingual and multilingual Marathi BERT models. These approaches are evaluated on prominent text classification datasets like MahaSent, MahaHate, and MahaNews. The incorporation of PEFT techniques is demonstrated to significantly expedite the training speed of the models, addressing a critical aspect of model development and deployment. In this study, we explore Low-Rank Adaptation of Large Language Models (LoRA) and adapter methods for low-resource text classification. We show that these methods are competitive with full fine-tuning and can be used without loss in accuracy. This study contributes valuable insights into the effectiveness of Marathi BERT models, offering a foundation for the continued advancement of NLP capabilities in Marathi and similar Indic languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google