Thai Financial Domain Adaptation of THaLLE — Technical Report

要約

大規模言語モデル (LLM) は一般的なタスクには優れていますが、専門用語やローカライズされた規制などのドメイン固有の課題に苦労します。
FinGPT や BloombergGPT などの既存の金融 LLM は、タイの金融ドメインをサポートしていません。
私たちは、タイ証券取引所の投資コンサルタント (IC) 試験データセットを使用して、タイ金融 LLM を開発しました。
データセットの制限に対処するために、データ拡張、効率的なトレーニングのための ReLoRA、ドメイン知識のための継続的事前トレーニング (CPT)、および微調整のためのランク安定化 LoRA (rsLoRA) を適用しました。
教師あり微調整 (SFT) は試験シナリオをシミュレートし、直接優先最適化 (DPO) はフィードバックを使用してモデルを改良しました。
このモデルは、IC 試験レベル P1、P2、P3 でそれぞれ 72%、72%、84% のスコアを達成し、タイの財務顧問業務における有効性と特殊なアプリケーションへの可能性を実証しました。

要約(オリジナル)

Large Language Models (LLMs) excel in general tasks but struggle with domain-specific challenges, such as specialized terminology and localized regulations. Existing financial LLMs, like FinGPT and BloombergGPT, lack support for the Thai financial domain. We developed a Thai Financial LLM using the Investment Consultant (IC) exam dataset from the Stock Exchange of Thailand. To address dataset limitations, we applied data augmentation, ReLoRA for efficient training, Continued Pretraining (CPT) for domain knowledge, and Rank-Stabilized LoRA (rsLoRA) for fine-tuning. Supervised Fine-Tuning (SFT) simulated exam scenarios, while Direct Preference Optimization (DPO) refined the model using feedback. The model achieved scores of 72%, 72%, and 84% on IC exam levels P1, P2, and P3, respectively, demonstrating its effectiveness in Thai financial advisory tasks and its potential for specialized applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google