Data Interpreter: An LLM Agent For Data Science

要約

Large Language Model (LLM) ベースのエージェントは、顕著な有効性を実証しています。
ただし、リアルタイムのデータ調整、さまざまなタスク間の複雑な依存関係による最適化の専門知識、正確な推論のために論理エラーを特定する能力が必要なデータ サイエンスのシナリオでは、そのパフォーマンスが犠牲になる可能性があります。
この研究では、データ インタープリターを紹介します。これは、データ サイエンスにおける問題解決を強化するための 3 つの重要なテクニックを強調するコードで解決するように設計されたソリューションです。1) リアルタイム データ適応性のための階層グラフ構造による動的プランニング、2) ツール統合
実行中のコードの習熟度を動的に強化し、必要な専門知識を強化します。3) フィードバックにおける論理的矛盾の特定と、エクスペリエンスの記録による効率の向上。
さまざまなデータ サイエンスや現実世界のタスクに基づいてデータ インタープリターを評価します。
オープンソースのベースラインと比較して、優れたパフォーマンスを示し、機械学習タスクで 0.86 から 0.95 に増加する大幅な改善を示しました。
さらに、MATH データセットでは 26% 増加し、オープンエンド タスクでは 112% という驚くべき改善が見られました。
このソリューションは https://github.com/geekan/MetaGPT でリリースされます。

要約(オリジナル)

Large Language Model (LLM)-based agents have demonstrated remarkable effectiveness. However, their performance can be compromised in data science scenarios that require real-time data adjustment, expertise in optimization due to complex dependencies among various tasks, and the ability to identify logical errors for precise reasoning. In this study, we introduce the Data Interpreter, a solution designed to solve with code that emphasizes three pivotal techniques to augment problem-solving in data science: 1) dynamic planning with hierarchical graph structures for real-time data adaptability;2) tool integration dynamically to enhance code proficiency during execution, enriching the requisite expertise;3) logical inconsistency identification in feedback, and efficiency enhancement through experience recording. We evaluate the Data Interpreter on various data science and real-world tasks. Compared to open-source baselines, it demonstrated superior performance, exhibiting significant improvements in machine learning tasks, increasing from 0.86 to 0.95. Additionally, it showed a 26% increase in the MATH dataset and a remarkable 112% improvement in open-ended tasks. The solution will be released at https://github.com/geekan/MetaGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google