SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories

要約

大規模言語モデル (LLM) がコードの記述において大幅に進歩したことを考えると、研究リポジトリから結果を自律的に再現するために LLM を使用できるでしょうか?
このような機能は研究コミュニティにとって恩恵となり、研究者が以前の研究を検証、理解し、拡張するのに役立ちます。
この目標に向けて前進するために、研究リポジトリからタスクを設定および実行する際の LLM の能力を評価するために設計された最初のベンチマークである SUPER を導入します。
SUPER は、機械学習 (ML) および自然言語処理 (NLP) の研究リポジトリを扱う研究者が直面する現実的な課題を把握することを目的としています。
私たちのベンチマークは、3 つの異なる問題セットで構成されています。注釈付きのエキスパート ソリューションを含む 45 のエンドツーエンドの問題、特定の課題 (トレーナーの構成など) に焦点を当てたエキスパート セットから派生した 152 のサブ問題、および大規模向けに自動生成された 602 の問題です。
発達。
タスクの成功と進捗の両方を評価するためのさまざまな評価尺度を導入し、利用可能な場合はゴールド ソリューションを利用し、そうでない場合は近似値を利用します。
最先端のアプローチではこれらの問題を解決するのに苦労し、最良のモデル (GPT-4o) ではエンドツーエンド セットの 16.3%、シナリオの 46.1% しか解決できないことがわかりました。
これは、このタスクの課題を示しており、SUPER がコミュニティが進捗状況を確認し測定するための貴重なリソースとして機能できることを示唆しています。

要約(オリジナル)

Given that Large Language Models (LLMs) have made significant progress in writing code, can they now be used to autonomously reproduce results from research repositories? Such a capability would be a boon to the research community, helping researchers validate, understand, and extend prior work. To advance towards this goal, we introduce SUPER, the first benchmark designed to evaluate the capability of LLMs in setting up and executing tasks from research repositories. SUPERaims to capture the realistic challenges faced by researchers working with Machine Learning (ML) and Natural Language Processing (NLP) research repositories. Our benchmark comprises three distinct problem sets: 45 end-to-end problems with annotated expert solutions, 152 sub problems derived from the expert set that focus on specific challenges (e.g., configuring a trainer), and 602 automatically generated problems for larger-scale development. We introduce various evaluation measures to assess both task success and progress, utilizing gold solutions when available or approximations otherwise. We show that state-of-the-art approaches struggle to solve these problems with the best model (GPT-4o) solving only 16.3% of the end-to-end set, and 46.1% of the scenarios. This illustrates the challenge of this task, and suggests that SUPER can serve as a valuable resource for the community to make and measure progress.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google