Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models

要約

大規模言語モデル (LLM) の最近の進歩により、数学的推論機能が大幅に進歩しました。
ただし、GSM8K や MATH などの既存のベンチマークは現在、高精度で解決されており (たとえば、OpenAI o1 は MATH データセットで 94.8% を達成)、これらのモデルに真に挑戦するには不十分であることが示されています。
このギャップを埋めるために、私たちは、LLM の数学的推論をオリンピックレベルで評価するために特別に設計された、包括的で挑戦的なベンチマークを提案します。
既存のオリンピック関連のベンチマークとは異なり、私たちのデータセットは数学のみに焦点を当てており、厳密な人による注釈が付いた 4,428 個の競技レベルの問題の膨大なコレクションで構成されています。
これらの問題は 33 以上のサブドメインに細心の注意を払って分類されており、10 以上の異なる難易度にまたがっており、オリンピックの数学的推論におけるモデルのパフォーマンスの総合的な評価を可能にしています。
さらに、このベンチマークに基づいて詳細な分析を実施しました。
私たちの実験結果は、最も先進的なモデルである OpenAI o1-mini と OpenAI o1-preview でさえ、60.54% と 52.55% の精度で非常に難しいオリンピック レベルの問題に苦戦していることを示しており、オリンピック レベルの数学的推論における重大な課題を浮き彫りにしています。

要約(オリジナル)

Recent advancements in large language models (LLMs) have led to significant breakthroughs in mathematical reasoning capabilities. However, existing benchmarks like GSM8K or MATH are now being solved with high accuracy (e.g., OpenAI o1 achieves 94.8% on MATH dataset), indicating their inadequacy for truly challenging these models. To bridge this gap, we propose a comprehensive and challenging benchmark specifically designed to assess LLMs’ mathematical reasoning at the Olympiad level. Unlike existing Olympiad-related benchmarks, our dataset focuses exclusively on mathematics and comprises a vast collection of 4428 competition-level problems with rigorous human annotation. These problems are meticulously categorized into over 33 sub-domains and span more than 10 distinct difficulty levels, enabling a holistic assessment of model performance in Olympiad-mathematical reasoning. Furthermore, we conducted an in-depth analysis based on this benchmark. Our experimental results show that even the most advanced models, OpenAI o1-mini and OpenAI o1-preview, struggle with highly challenging Olympiad-level problems, with 60.54% and 52.55% accuracy, highlighting significant challenges in Olympiad-level mathematical reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google