InsightBench: Evaluating Business Analytics Agents Through Multi-Step Insight Generation

要約

データ分析は、組織が効果的な決定を下すのを支援できるデータから貴重な洞察を抽出するために不可欠です。
3つの重要な機能を備えたベンチマークデータセットであるInsightbenchを紹介します。
第一に、これは、金融やインシデント管理などの多様なビジネスユースケースを表す100のデータセットで構成されており、それぞれにデータセットに植えられた慎重にキュレーションされた一連の洞察が伴います。
第二に、単一のクエリへの応答に焦点を当てた既存のベンチマークとは異なり、Insightbenchは、質問の策定、回答の解釈、洞察と実用的な手順の概要を含む、エンドツーエンドのデータ分析を実行する能力に基づいてエージェントを評価します。
第三に、ベンチマーク内の各データセットに明確な目標があり、関連する意味のある質問と分析が含まれていることを確認するために、包括的な品質保証を実施しました。
さらに、LLAMA-3を使用して効果的なオープンソースの評価者として双方向評価メカニズムを実装して、洞察を抽出するエージェントの能力を評価します。
また、エンドツーエンドのデータ分析を実行できるベースラインデータ分析エージェントであるAgentPoirotを提案します。
Insightbenchに関する私たちの評価は、AgentPoirotが単一のクエリの解決に焦点を当てた既存のアプローチ（Pandasエージェントなど）を上回ることを示しています。
また、オープンソースとクローズドソースのLLMSのパフォーマンスとさまざまな評価戦略も比較します。
全体として、このベンチマークは、包括的な自動化データ分析のさらなる開発を動機付けるためのテストベッドとして機能し、https：//github.com/servicenow/insight-benchでアクセスできます。

要約(オリジナル)

Data analytics is essential for extracting valuable insights from data that can assist organizations in making effective decisions. We introduce InsightBench, a benchmark dataset with three key features. First, it consists of 100 datasets representing diverse business use cases such as finance and incident management, each accompanied by a carefully curated set of insights planted in the datasets. Second, unlike existing benchmarks focusing on answering single queries, InsightBench evaluates agents based on their ability to perform end-to-end data analytics, including formulating questions, interpreting answers, and generating a summary of insights and actionable steps. Third, we conducted comprehensive quality assurance to ensure that each dataset in the benchmark had clear goals and included relevant and meaningful questions and analysis. Furthermore, we implement a two-way evaluation mechanism using LLaMA-3 as an effective, open-source evaluator to assess agents’ ability to extract insights. We also propose AgentPoirot, our baseline data analysis agent capable of performing end-to-end data analytics. Our evaluation on InsightBench shows that AgentPoirot outperforms existing approaches (such as Pandas Agent) that focus on resolving single queries. We also compare the performance of open- and closed-source LLMs and various evaluation strategies. Overall, this benchmark serves as a testbed to motivate further development in comprehensive automated data analytics and can be accessed here: https://github.com/ServiceNow/insight-bench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google