Domain-adaptative Continual Learning for Low-resource Tasks: Evaluation on Nepali

要約

新しいデータが利用可能になった場合に大規模言語モデル (LLM) をゼロから再トレーニングするのは不可能であるため、継続学習が重要な研究の方向性として浮上しています。
非常に興味深いのは、ドメイン適応型事前トレーニング (DAPT) パラダイムです。これは、事前トレーニングされた言語モデルを継続的にトレーニングして、元々トレーニングされていなかったドメインに適応させることに焦点を当てています。
この研究では、低リソース環境、つまりネパール語での DAPT の実現可能性を評価します。
合成データを使用して Llama 3 8B のトレーニングを継続し、4 ビット QLoRA 設定でネパール語に適応させます。
適応したモデルのパフォーマンス、忘却、知識の獲得を評価します。
私たちは、ネパール語生成能力、一般的なベンチマークでのパフォーマンスについて基本モデルと最終モデルを比較し、ケーススタディを実行してネパール語の言語知識を調査します。
最終モデルには驚くべきことではないがいくつかの忘却が見られますが、驚くべきことに、評価中にショット数を増やすと、ベースモデル (4.98%) と比較して最終モデルでより良いパーセント増加 (最大 19.29% の増加) が得られることもわかり、潜在的な可能性を示唆しています。
保持。
また、ネパール語の最終モデルの依存関係解決能力を確立するために、レイヤーヘッドのセルフ アテンション ヒートマップを調査します。

要約(オリジナル)

Continual learning has emerged as an important research direction due to the infeasibility of retraining large language models (LLMs) from scratch in the event of new data availability. Of great interest is the domain-adaptive pre-training (DAPT) paradigm, which focuses on continually training a pre-trained language model to adapt it to a domain it was not originally trained on. In this work, we evaluate the feasibility of DAPT in a low-resource setting, namely the Nepali language. We use synthetic data to continue training Llama 3 8B to adapt it to the Nepali language in a 4-bit QLoRA setting. We evaluate the adapted model on its performance, forgetting, and knowledge acquisition. We compare the base model and the final model on their Nepali generation abilities, their performance on popular benchmarks, and run case-studies to probe their linguistic knowledge in Nepali. We see some unsurprising forgetting in the final model, but also surprisingly find that increasing the number of shots during evaluation yields better percent increases in the final model (as high as 19.29% increase) compared to the base model (4.98%), suggesting latent retention. We also explore layer-head self-attention heatmaps to establish dependency resolution abilities of the final model in Nepali.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google