DatawiseAgent: A Notebook-Centric LLM Agent Framework for Automated Data Science

要約

データサイエンスのタスクは、多面的で動的で、しばしばドメイン固有です。
既存のLLMベースのアプローチは、主に孤立したフェーズに集中し、多くのデータサイエンスタスクの相互依存性の性質を無視し、包括的なエンドツーエンドサポートの能力を制限します。
Notebook中心のLLMエージェントフレームワークであるDataWiseagentを提案します。これは、マークダウンおよび実行可能なコードセルを介してユーザー、エージェント、および計算環境間の相互作用を統合し、柔軟で適応性のある自動化されたデータサイエンスをサポートします。
有限状態トランスデューサー（FST）の上に構築されたDataWiseagentは、DSFのような計画、漸進的実行、自己不開発、ポストフィルタリングなど、4つの段階を組織します。
具体的には、DFSのような計画段階でソリューション空間を体系的に調査しますが、インクリメンタル実行はリアルタイムフィードバックを活用し、LLMの限られた機能に対応してタスクを徐々に完了します。
自己不足とフィルタリング後のモジュールは、エラーを診断および修正し、無関係な情報を剪定することにより、信頼性をさらに高めます。
データ分析、視覚化、データモデリングを含む多様なタスクに関する広範な実験は、DataWiseagentが複数のモデル設定にわたって最新のメソッドを常に上回ったり一致させることを示しています。
これらの結果は、データサイエンスシナリオ全体に一般化し、より効率的で完全に自動化されたワークフローのために基礎を築く可能性を強調しています。

要約(オリジナル)

Data Science tasks are multifaceted, dynamic, and often domain-specific. Existing LLM-based approaches largely concentrate on isolated phases, neglecting the interdependent nature of many data science tasks and limiting their capacity for comprehensive end-to-end support. We propose DatawiseAgent, a notebook-centric LLM agent framework that unifies interactions among user, agent and the computational environment through markdown and executable code cells, supporting flexible and adaptive automated data science. Built on a Finite State Transducer(FST), DatawiseAgent orchestrates four stages, including DSF-like planning, incremental execution, self-debugging, and post-filtering. Specifically, the DFS-like planning stage systematically explores the solution space, while incremental execution harnesses real-time feedback and accommodates LLM’s limited capabilities to progressively complete tasks. The self-debugging and post-filtering modules further enhance reliability by diagnosing and correcting errors and pruning extraneous information. Extensive experiments on diverse tasks, including data analysis, visualization, and data modeling, show that DatawiseAgent consistently outperforms or matches state-of-the-art methods across multiple model settings. These results highlight its potential to generalize across data science scenarios and lay the groundwork for more efficient, fully automated workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google