Large Language Model Agent for Hyper-Parameter Optimization

要約

ハイパーパラメータの最適化は現代の機械学習において非常に重要であり、専門知識、多数の試行、および高度な計算リソースと人的リソースが必要です。
自動機械学習 (AutoML) の進歩にもかかわらず、試験の効率、セットアップの複雑さ、相互運用性の点での課題は依然として残っています。
これらの問題に対処するために、ラージ言語モデル (LLM) を活用して、さまざまな機械学習タスクにわたるハイパーパラメーターの最適化を自動化する、AgentHPO (LLM Agent-based Hyperparameter Optimization の略) と呼ばれる新しいパラダイムを導入します。
具体的には、AgentHPO はタスク情報を自律的に処理し、特定のハイパーパラメータ (HP) を使用して実験を実施し、過去のトライアルに基づいてそれらを繰り返し最適化します。
この人間のような最適化プロセスにより、従来の AutoML 手法と比較して、必要な試行回数が大幅に削減され、セットアップ プロセスが簡素化され、解釈可能性とユーザーの信頼性が向上します。
12 の代表的な機械学習タスクに対して行われた広範な実証実験では、AgentHPO がパフォーマンスの点で人間による最良の試験に匹敵するだけでなく、しばしばそれを上回り、同時に説明可能な結果を​​提供することが示されています。
さらに分析を進めると、これらのタスクを最適化する際に LLM が採用した戦略が明らかになり、さまざまなシナリオにおける LLM の有効性と適応性が強調されます。

要約(オリジナル)

Hyperparameter optimization is critical in modern machine learning, requiring expert knowledge, numerous trials, and high computational and human resources. Despite the advancements in Automated Machine Learning (AutoML), challenges in terms of trial efficiency, setup complexity, and interoperability still persist. To address these issues, we introduce a novel paradigm leveraging Large Language Models (LLMs) to automate hyperparameter optimization across diverse machine learning tasks, which is named AgentHPO (short for LLM Agent-based Hyperparameter Optimization). Specifically, AgentHPO processes the task information autonomously, conducts experiments with specific hyperparameters (HPs), and iteratively optimizes them based on historical trials. This human-like optimization process largely reduces the number of required trials, simplifies the setup process, and enhances interpretability and user trust, compared to traditional AutoML methods. Extensive empirical experiments conducted on 12 representative machine-learning tasks indicate that AgentHPO not only matches but also often surpasses the best human trials in terms of performance while simultaneously providing explainable results. Further analysis sheds light on the strategies employed by the LLM in optimizing these tasks, highlighting its effectiveness and adaptability in various scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google