Construction of a Japanese Financial Benchmark for Large Language Models

要約

最近の大規模言語モデル (LLM) の開発に伴い、特定のドメインと言語に焦点を当てたモデルの必要性が議論されています。
各ドメインの現在の LLM のパフォーマンスを評価するためのベンチマークの必要性も高まっています。
そこで本研究では、日本領域と金融領域に特化した複数のタスクからなるベンチマークを構築し、一部のモデルでベンチマーク測定を実施しました。
その結果、現時点では GPT-4 が優れており、構築したベンチマークが有効に機能していることを確認しました。
私たちの分析によると、私たちのベンチマークは、異なる難易度のタスクを組み合わせることで、すべてのパフォーマンス範囲のモデル間でベンチマーク スコアを区別できます。

要約(オリジナル)

With the recent development of large language models (LLMs), models that focus on certain domains and languages have been discussed for their necessity. There is also a growing need for benchmarks to evaluate the performance of current LLMs in each domain. Therefore, in this study, we constructed a benchmark comprising multiple tasks specific to the Japanese and financial domains and performed benchmark measurements on some models. Consequently, we confirmed that GPT-4 is currently outstanding, and that the constructed benchmarks function effectively. According to our analysis, our benchmark can differentiate benchmark scores among models in all performance ranges by combining tasks with different difficulties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google