BizBench: A Quantitative Reasoning Benchmark for Business and Finance

要約

ビジネスや財務に関する質問に答えるには、推論、正確さ、そして幅広い技術知識が必要です。
これらの要件により、このドメインは大規模言語モデル (LLM) にとって困難になります。
現実的な財務問題を推論するモデルの能力を評価するためのベンチマークである BizBench を紹介します。
BizBench は 8 つの定量的推論タスクで構成され、プログラム合成による財務データに対する質問応答 (QA) に重点を置いています。
新しく収集および強化された QA データからの、財務をテーマにした 3 つのコード生成タスクが含まれています。
さらに、財務QAに必要な推論能力（中間値を抽出するための財務テキストと表の読解、複雑なソリューションの計算に必要な財務概念と公式の理解）を分離します。
これらのタスクは集合的に、モデルの財務に関する背景知識、財務文書を解析する能力、およびコードの問題を解決する能力を評価します。
私たちは、オープンソースおよび商用 LLM の詳細な評価を実施し、コード中心のモデルと言語中心のモデルの動作を比較対照します。
私たちは、現在のパフォーマンスのボトルネックが LLM のビジネスと財務の理解が限られていることに起因していることを実証し、この領域内での定量的推論に対する挑戦的なベンチマークの価値を強調します。

要約(オリジナル)

Answering questions within business and finance requires reasoning, precision, and a wide-breadth of technical knowledge. Together, these requirements make this domain difficult for large language models (LLMs). We introduce BizBench, a benchmark for evaluating models’ ability to reason about realistic financial problems. BizBench comprises eight quantitative reasoning tasks, focusing on question-answering (QA) over financial data via program synthesis. We include three financially-themed code-generation tasks from newly collected and augmented QA data. Additionally, we isolate the reasoning capabilities required for financial QA: reading comprehension of financial text and tables for extracting intermediate values, and understanding financial concepts and formulas needed to calculate complex solutions. Collectively, these tasks evaluate a model’s financial background knowledge, ability to parse financial documents, and capacity to solve problems with code. We conduct an in-depth evaluation of open-source and commercial LLMs, comparing and contrasting the behavior of code-focused and language-focused models. We demonstrate that the current bottleneck in performance is due to LLMs’ limited business and financial understanding, highlighting the value of a challenging benchmark for quantitative reasoning within this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google