SELA: Tree-Search Enhanced LLM Agents for Automated Machine Learning

要約

自動機械学習 (AutoML) のアプローチには、モデルの選択とアンサンブルのために固定パイプラインを最適化する従来の手法に加え、パイプラインを自律的に構築する新しい LLM ベースのフレームワークが含まれます。
LLM ベースのエージェントは機械学習タスクの自動化に有望ですが、複数の反復を行った後でも、多様性が低く、次善のコードを生成することがよくあります。
これらの制限を克服するために、Monte Carlo Tree Search (MCTS) を活用して AutoML プロセスを最適化する革新的なエージェント ベースのシステムである Tree-Search Enhanced LLM Agents (SELA) を導入します。
パイプライン構成をツリーとして表すことで、当社のフレームワークを使用すると、エージェントは実験をインテリジェントに実施し、戦略を反復的に洗練させることができ、機械学習ソリューション空間のより効果的な探索が容易になります。
この新しいアプローチにより、SELA は実験的なフィードバックに基づいて最適な経路を発見し、ソリューションの全体的な品質を向上させることができます。
20 の機械学習データセットにわたる広範な評価で、従来の AutoML 手法とエージェントベースの AutoML 手法のパフォーマンスを比較し、SELA がすべてのデータセットの各ベースラインに対して 65% ～ 80% の勝率を達成していることを実証しました。
これらの結果は、AutoML におけるエージェントベースの戦略の大きな可能性を強調し、複雑な機械学習の課題に取り組む上で新たな視点を提供します。

要約(オリジナル)

Automated Machine Learning (AutoML) approaches encompass traditional methods that optimize fixed pipelines for model selection and ensembling, as well as newer LLM-based frameworks that autonomously build pipelines. While LLM-based agents have shown promise in automating machine learning tasks, they often generate low-diversity and suboptimal code, even after multiple iterations. To overcome these limitations, we introduce Tree-Search Enhanced LLM Agents (SELA), an innovative agent-based system that leverages Monte Carlo Tree Search (MCTS) to optimize the AutoML process. By representing pipeline configurations as trees, our framework enables agents to conduct experiments intelligently and iteratively refine their strategies, facilitating a more effective exploration of the machine learning solution space. This novel approach allows SELA to discover optimal pathways based on experimental feedback, improving the overall quality of the solutions. In an extensive evaluation across 20 machine learning datasets, we compare the performance of traditional and agent-based AutoML methods, demonstrating that SELA achieves a win rate of 65% to 80% against each baseline across all datasets. These results underscore the significant potential of agent-based strategies in AutoML, offering a fresh perspective on tackling complex machine learning challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google