I-MCTS: Enhancing Agentic AutoML via Introspective Monte Carlo Tree Search

要約

大規模な言語モデル（LLMS）の最近の進歩は、機械学習タスクの自動化において顕著な可能性を示しています。
ただし、既存のLLMベースのエージェントは、多くの場合、低ダイリティおよび最適ではないコード生成に苦労しています。
最近の作業により、これらの問題に対処するためにモンテカルロツリー検索（MCTS）が導入されていますが、制限は生成された思考の質と多様性、およびノー​​ド選択に使用されるスカラーバリューフィードバックメカニズムに持続します。
この研究では、内省的なモンテカルロツリー検索（I-MCTS）を紹介します。これは、親と兄弟ノードのソリューションと結果を綿密に分析する内省的プロセスを通じてツリーノードを繰り返し拡張する新しいアプローチです。
これにより、検索ツリー内のノードの継続的な改良が容易になり、それにより全体的な意思決定プロセスが強化されます。
さらに、大規模な言語モデル（LLM）ベースの値モデルを統合して、包括的な計算ロールアウトを実行する前に、各ノードのソリューションの直接評価を促進します。
Q値をLLM推定スコアから実際のパフォーマンススコアにシームレスに遷移するために、ハイブリッドの報酬メカニズムが実装されています。
これにより、高品質のノードを早期に移動できます。
さまざまなMLタスクに適用されるこのアプローチは、強力なオープンソースAutomlエージェントと比較してパフォーマンスの6％の絶対的な改善を示しており、エージェントAutomlシステムの強化における有効性を示しています。
https://github.com/jokieleung/i-mctsで入手できます

要約(オリジナル)

Recent advancements in large language models (LLMs) have shown remarkable potential in automating machine learning tasks. However, existing LLM-based agents often struggle with low-diversity and suboptimal code generation. While recent work has introduced Monte Carlo Tree Search (MCTS) to address these issues, limitations persist in the quality and diversity of thoughts generated, as well as in the scalar value feedback mechanisms used for node selection. In this study, we introduce Introspective Monte Carlo Tree Search (I-MCTS), a novel approach that iteratively expands tree nodes through an introspective process that meticulously analyzes solutions and results from parent and sibling nodes. This facilitates a continuous refinement of the node in the search tree, thereby enhancing the overall decision-making process. Furthermore, we integrate a Large Language Model (LLM)-based value model to facilitate direct evaluation of each node’s solution prior to conducting comprehensive computational rollouts. A hybrid rewarding mechanism is implemented to seamlessly transition the Q-value from LLM-estimated scores to actual performance scores. This allows higher-quality nodes to be traversed earlier. Applied to the various ML tasks, our approach demonstrates a 6% absolute improvement in performance compared to the strong open-source AutoML agents, showcasing its effectiveness in enhancing agentic AutoML systems. Resource available at https://github.com/jokieleung/I-MCTS

arxiv情報

提供元, 利用サービス

arxiv.jp, Google