‘Finance Wizard’ at the FinLLM Challenge Task: Financial Text Summarization

要約

この文書では、FinNLP-AgentScen 2024 の共有タスク #2: 財務テキストの要約にチーム名「Finance Wizard」として参加したことを紹介します。
これは、基礎モデルを財務テキスト要約のタスク固有のモデルに微調整するパイプライン アプローチを文書化したものです。
これには、(1) 継続的な事前トレーニングを通じて基盤モデルである Llama3 8B を財務ドメインに適応させること、(2) モデルにさらに財務関連の機能を装備するためのマルチタスク命令の調整、(3) 最終的には微調整が含まれます。
モデルをタスク固有の「専門家」に調整します。
私たちのモデル FinLlama3\_sum は賞賛に値する結果をもたらし、ROUGE-1 スコア 0.521 でそのカテゴリの 3 位を確保しました。

要約(オリジナル)

This paper presents our participation under the team name `Finance Wizard’ in the FinNLP-AgentScen 2024 shared task #2: Financial Text Summarization. It documents our pipeline approach of fine-tuning a foundation model into a task-specific model for Financial Text Summarization. It involves (1) adapting Llama3 8B, a foundation model, to the Finance domain via continued pre-training, (2) multi-task instruction-tuning to further equip the model with more finance-related capabilities, (3) finally fine-tuning the model into a task-specific `expert’. Our model, FinLlama3\_sum, yielded commendable results, securing the third position in its category with a ROUGE-1 score of 0.521.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google