DataSciBench: An LLM Agent Benchmark for Data Science

要約

このホワイトペーパーでは、データサイエンスの大規模な言語モデル（LLM）機能を評価するための包括的なベンチマークであるDatascibenchを紹介します。
最近の関連ベンチマークは、主に単一のタスク、簡単に取得できるグラウンドトゥルース、および評価できるタスクの範囲を制限する簡単な評価メトリックに焦点を当てています。
対照的に、DASASCIBENCHは、不確実なグラウンドトゥルースと評価メトリックのための、より包括的でキュレーションされた自然で挑戦的なプロンプトのコレクションに基づいて構築されています。
グラウンドトゥルース（GT）を生成し、評価メトリックを検証するための半自動パイプラインを開発します。
このパイプラインは、収集されたプロンプト、事前定義されたタスクタイプ、および集約関数（メトリック）を活用することにより、LLMベースの自己整合性と人間の検証戦略を利用および実装して、正確なGTを作成します。
さらに、正確に定義されたメトリックとプログラマティックルールに基づいて各コード実行結果を評価するための革新的なタスク – 関数 – コード（TFC）フレームワークを提案します。
実験フレームワークでは、6つのAPIベースのモデル、8つのオープンソースの一般モデル、および収集した多様なプロンプトのセットを使用して、9つのオープンソースコード生成モデルをテストすることが含まれます。
このアプローチは、データサイエンスにおけるLLMのより包括的かつ厳密な評価を提供し、その長所と短所を明らかにすることを目的としています。
実験結果は、APIベースのモデルがすべてのメトリックのオープンソースモデルを上回ることを示しており、DeepSeek-Coder-33B-Instructがオープンソースモデルの中で最高のスコアを達成することを示しています。
https://github.com/thudm/datascibenchですべてのコードとデータをリリースします。

要約(オリジナル)

This paper presents DataSciBench, a comprehensive benchmark for evaluating Large Language Model (LLM) capabilities in data science. Recent related benchmarks have primarily focused on single tasks, easily obtainable ground truth, and straightforward evaluation metrics, which limits the scope of tasks that can be evaluated. In contrast, DataSciBench is constructed based on a more comprehensive and curated collection of natural and challenging prompts for uncertain ground truth and evaluation metrics. We develop a semi-automated pipeline for generating ground truth (GT) and validating evaluation metrics. This pipeline utilizes and implements an LLM-based self-consistency and human verification strategy to produce accurate GT by leveraging collected prompts, predefined task types, and aggregate functions (metrics). Furthermore, we propose an innovative Task – Function – Code (TFC) framework to assess each code execution outcome based on precisely defined metrics and programmatic rules. Our experimental framework involves testing 6 API-based models, 8 open-source general models, and 9 open-source code generation models using the diverse set of prompts we have gathered. This approach aims to provide a more comprehensive and rigorous evaluation of LLMs in data science, revealing their strengths and weaknesses. Experimental results demonstrate that API-based models outperform open-sourced models on all metrics and Deepseek-Coder-33B-Instruct achieves the highest score among open-sourced models. We release all code and data at https://github.com/THUDM/DataSciBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google