Evaluating LLMs’ Mathematical and Coding Competency through Ontology-guided Interventions

要約

大規模言語モデル (LLM) の最近の進歩により、既存の論理推論ベンチマークで驚くべき結果が示され、一部のモデルは人間のパフォーマンスを超えています。
ただし、推論タスクにおける彼らの能力の真の深さと堅牢性は未解決の疑問のままです。
この目的を達成するために、このホワイト ペーパーでは、算術推論とコード生成という 2 つの一般的な推論タスクに焦点を当てます。
特に、(i) 数学およびコーディングの問題に対する摂動の一般的なオントロジー、(ii) これらの摂動を適用する半自動手法、および (iii) 摂動された数学およびコーディングの 2 つのデータセット、それぞれ GSMORE と HUMANEVAL-CORE を導入します。
数値推論およびコーディング タスクにおける LLM 機能を調査するためのコーディング問題。
クローズドソースとオープンソースの両方の LLM の包括的な評価を通じて、混乱した質問に対してすべてのモデルで大幅なパフォーマンスの低下が示されました。これは、現在の LLM には、多くの分野で堅牢な問題解決スキルと構造化された推論能力が欠けていることを示唆しています。
私たちのオントロジー。
データセットとソース コードは https://github.com/declare-lab/LLM-ReasoningTest でオープンソースです。

要約(オリジナル)

Recent advancements in Large Language Models (LLMs) have showcased striking results on existing logical reasoning benchmarks, with some models even surpassing human performance. However, the true depth of their competencies and robustness in reasoning tasks remains an open question. To this end, in this paper, we focus on two popular reasoning tasks: arithmetic reasoning and code generation. Particularly, we introduce (i) a general ontology of perturbations for math and coding questions, (ii) a semi-automatic method to apply these perturbations, and (iii) two datasets, GSMORE and HUMANEVAL-CORE, respectively, of perturbed math and coding problems to probe LLM capabilities in numeric reasoning and coding tasks. Through comprehensive evaluations of both closed-source and open-source LLMs, we show a significant performance drop across all the models against the perturbed questions, suggesting that the current LLMs lack robust problem solving skills and structured reasoning abilities in many areas, as defined by our ontology. We open-source the datasets and source codes at: https://github.com/declare-lab/LLM-ReasoningTest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google