Integrating Hyperparameter Search into GramML

要約

自動機械学習（AutoML）は、機械学習システムの設計と開発に必要な時間と専門知識を削減できるため、近年ますます人気が高まっている。これは、強力なベースラインを迅速に構築し、データサイエンティストの効率を向上させ、生産までの時間を短縮できるため、機械学習の実践にとって非常に重要である。しかし、AutoMLの利点にもかかわらず、解空間の定義や効率的な探索など、いくつかの課題に直面している。近年、ツリーベースの探索アルゴリズムや文脈自由文法を用いて、これを実現できるアプローチがいくつか示されている。特にGramMLは、パイプライン構成文法を活用し、モンテカルロ木探索を用いて動作するモデルフリー強化学習アプローチを提示している。しかし、GramMLの限界の1つは、デフォルトのハイパーパラメータを使用することであり、探索問題は、利用可能なデータプリプロセッサとモデルに対して最適なパイプライン構造を見つけることに限定される。本研究では、ハイパーパラメータ検索を含む、より大きな検索空間をサポートするGramMLの拡張を提案する。このアプローチをOpenMLベンチマークを用いて評価した結果、他の最先端技術と比較して大きな改善が見られた。

要約(オリジナル)

Automated Machine Learning (AutoML) has become increasingly popular in recent years due to its ability to reduce the amount of time and expertise required to design and develop machine learning systems. This is very important for the practice of machine learning, as it allows building strong baselines quickly, improving the efficiency of the data scientists, and reducing the time to production. However, despite the advantages of AutoML, it faces several challenges, such as defining the solutions space and exploring it efficiently. Recently, some approaches have been shown to be able to do it using tree-based search algorithms and context-free grammars. In particular, GramML presents a model-free reinforcement learning approach that leverages pipeline configuration grammars and operates using Monte Carlo tree search. However, one of the limitations of GramML is that it uses default hyperparameters, limiting the search problem to finding optimal pipeline structures for the available data preprocessors and models. In this work, we propose an extension to GramML that supports larger search spaces including hyperparameter search. We evaluated the approach using an OpenML benchmark and found significant improvements compared to other state-of-the-art techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL