ARB: Advanced Reasoning Benchmark for Large Language Models

要約

大規模言語モデル (LLM) は、さまざまな定量的推論および知識ベンチマークで顕著なパフォーマンスを実証しています。
しかし、これらのベンチマークの多くは、これらの分野でエキスパートのパフォーマンスにまだ達していないにもかかわらず、LLM がますます高スコアを取得するにつれて実用性を失いつつあります。
複数の分野の高度な推論問題から構成される新しいベンチマークである ARB を紹介します。
ARB は、数学、物理学、生物学、化学、法律の問題を特徴とする、以前のベンチマークよりも難しいテストを提示します。
ARB のサブセットとして、高度な記号推論とドメイン知識を必要とする数学と物理の問題の難しいセットを導入します。
ARB で GPT-4 や Claude などの最近のモデルを評価し、より要求の厳しいタスクでは現在のモデルのスコアが 50% をはるかに下回っていることを実証します。
自動評価機能と支援評価機能の両方を向上させるために、ルーブリックベースの評価アプローチを導入し、GPT-4 が独自の中間推論ステップをスコアリングできるようにします。
さらに、ARB の記号サブセットの人による評価を実施し、アノテーターと GPT-4 ルーブリック評価スコアの間に有望な一致があることを発見しました。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable performance on various quantitative reasoning and knowledge benchmarks. However, many of these benchmarks are losing utility as LLMs get increasingly high scores, despite not yet reaching expert performance in these domains. We introduce ARB, a novel benchmark composed of advanced reasoning problems in multiple fields. ARB presents a more challenging test than prior benchmarks, featuring problems in mathematics, physics, biology, chemistry, and law. As a subset of ARB, we introduce a challenging set of math and physics problems which require advanced symbolic reasoning and domain knowledge. We evaluate recent models such as GPT-4 and Claude on ARB and demonstrate that current models score well below 50% on more demanding tasks. In order to improve both automatic and assisted evaluation capabilities, we introduce a rubric-based evaluation approach, allowing GPT-4 to score its own intermediate reasoning steps. Further, we conduct a human evaluation of the symbolic subset of ARB, finding promising agreement between annotators and GPT-4 rubric evaluation scores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google