THaLLE: Text Hyperlocally Augmented Large Language Extension — Technical Report

要約

大規模言語モデル (LLM) の最近の進歩により、技術環境全体に新しい機能と機会が明らかになりました。
ただし、非常に大規模な LLM の実用性は、その高い計算コストによって課題があり、人間と比較してその能力が限られているため、その利点が正当化されません。
小規模ながら、より実践的な LLM は、公認財務アナリスト (CFA) 試験でほぼ合格点に達していることからもわかるように、まだ十分に熟達しているわけではありませんが、財務分析での可能性を示しています。
この研究では、テキスト Hyperlocally Augmented Large Language Extension (THaLLE) に対する Financial Analyst 拡張機能を紹介します。これは、同等のサイズのモデルに対する模擬 CFA 試験で一貫して最高のパフォーマンスを達成する一連の 8B LLM です。
今後の研究を促進するために使用される微調整テクニックを徹底的に文書化します。
さらに、財務アドバイザーとして LLM を評価するための公開データセットである Flare CFA の使用を紹介します。

要約(オリジナル)

Recent advancements in Large Language Models (LLMs) have revealed new capabilities and opportunities across the technological landscape. However, the practicality of very large LLMs is challenged by their high compute cost, which does not justify the benefits given their limited capability compared to humans. While smaller, more practical LLMs have shown potential in financial analysis, though they are not yet fully proficient, as evidenced by their near-passing performance on the Chartered Financial Analyst (CFA) exam. In this work, we present Financial Analyst Extension to our Text Hyperlocally Augmented Large Language Extension (THaLLE), a series of 8B LLMs consistently achieving highest performance on mock CFA exams against models of comparable size. We thoroughly document the fine-tuning techniques used to facilitate future research. Additionally, we introduce the use of Flare CFA, a publicly available dataset for evaluating LLMs as a financial advisor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google