L3iTC at the FinLLM Challenge Task: Quantization for Financial Text Classification & Summarization

要約

この記事では、FinLLM チャレンジ タスク 2024 への当社 (L3iTC) の参加について詳しく説明します。タスク 1 の財務テキストの分類とタスク 2 の財務テキストの要約の 2 つの主要領域に焦点を当てています。
これらの課題に対処するために、いくつかの大規模言語モデル (LLM) を微調整して、各タスクのパフォーマンスを最適化しました。
具体的には、4 ビット量子化と LoRA を使用して、LLM のどの層を低精度でトレーニングする必要があるかを決定しました。
このアプローチにより、主催者が提供したトレーニング データの微調整プロセスが高速化されただけでなく、少ない GPU メモリでもモデルを実行できるようになりました。
私たちの微調整されたモデルは、公式テスト データセットの F1 スコア 0.7543 で財務分類タスクで 3 位を獲得し、財務要約タスクで 6 位を確保しました。

要約(オリジナル)

This article details our participation (L3iTC) in the FinLLM Challenge Task 2024, focusing on two key areas: Task 1, financial text classification, and Task 2, financial text summarization. To address these challenges, we fine-tuned several large language models (LLMs) to optimize performance for each task. Specifically, we used 4-bit quantization and LoRA to determine which layers of the LLMs should be trained at a lower precision. This approach not only accelerated the fine-tuning process on the training data provided by the organizers but also enabled us to run the models on low GPU memory. Our fine-tuned models achieved third place for the financial classification task with an F1-score of 0.7543 and secured sixth place in the financial summarization task on the official test datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google