AutoMind: Adaptive Knowledgeable Agent for Automated Data Science

要約

大規模な言語モデル（LLM）エージェントは、実際のデータサイエンスの問題に対処する上で大きな可能性を示しています。
LLM駆動型のデータサイエンスエージェントは、機械学習パイプライン全体を自動化することを約束しますが、それらの実際の効果は依然として限られたままです。
既存のフレームワークは、剛性のある、事前に定義されたワークフローと柔軟性のないコーディング戦略に依存します。
その結果、彼らは比較的単純で古典的な問題にのみ優れており、人間の実践者が複雑で革新的なタスクにもたらす経験的専門知識を把握できません。
この作業では、3つの重要な進歩を通じてこれらの欠陥を克服する適応的で知識豊富なLLMエージェントフレームワークであるAutorindを紹介します。
2つの自動化されたデータサイエンスベンチマークの評価は、Automindが優れたパフォーマンスと最先端のベースラインを提供することを示しています。
追加の分析により、有利な有効性、効率性、および定性的なソリューションの品質が確認され、完全に自動化されたデータサイエンスに向けて効率的で堅牢なステップとしてAutomindを強調しています。

要約(オリジナル)

Large Language Model (LLM) agents have shown great potential in addressing real-world data science problems. LLM-driven data science agents promise to automate the entire machine learning pipeline, yet their real-world effectiveness remains limited. Existing frameworks depend on rigid, pre-defined workflows and inflexible coding strategies; consequently, they excel only on relatively simple, classical problems and fail to capture the empirical expertise that human practitioners bring to complex, innovative tasks. In this work, we introduce AutoMind, an adaptive, knowledgeable LLM-agent framework that overcomes these deficiencies through three key advances: (1) a curated expert knowledge base that grounds the agent in domain expert knowledge, (2) an agentic knowledgeable tree search algorithm that strategically explores possible solutions, and (3) a self-adaptive coding strategy that dynamically tailors code generation to task complexity. Evaluations on two automated data science benchmarks demonstrate that AutoMind delivers superior performance versus state-of-the-art baselines. Additional analyses confirm favorable effectiveness, efficiency, and qualitative solution quality, highlighting AutoMind as an efficient and robust step toward fully automated data science.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google