AutoMLBench: A Comprehensive Experimental Evaluation of Automated Machine Learning Frameworks

要約

タイトル：AutoMLBench：自動機械学習フレームワークの包括的な評価実験
要約：
-機械学習アプリケーションの需要が高まる中、知識豊富なデータサイエンティストの数が成長するデータ量やアプリケーションニーズに対応できないと認識されています。
-これに対応するため、自動機械学習（AutoML）フレームワークが開発され、機械学習パイプラインの構築プロセスを自動化して、人間の専門知識のギャップを埋めることが期待されています。
-本研究では、AutoMLベンチマークスイートから100のデータセットを対象に、AutoWeka、AutoSKlearn、TPOT、Recipe、ATM、SmartMLの6つの人気のあるAutoMLフレームワークの性能特性を包括的に評価し比較しています。
-評価には、時間予算、探索空間のサイズ、メタ学習、アンサンブル構築などのさまざまな設計決定の性能影響も考慮されます。
-研究の結果、AutoMLフレームワークの設計に重要な影響を与える様々な興味深い洞察が明らかにされました。

要約(オリジナル)

With the booming demand for machine learning applications, it has been recognized that the number of knowledgeable data scientists can not scale with the growing data volumes and application needs in our digital world. In response to this demand, several automated machine learning (AutoML) frameworks have been developed to fill the gap of human expertise by automating the process of building machine learning pipelines. Each framework comes with different heuristics-based design decisions. In this study, we present a comprehensive evaluation and comparison of the performance characteristics of six popular AutoML frameworks, namely, AutoWeka, AutoSKlearn, TPOT, Recipe, ATM, and SmartML, across 100 data sets from established AutoML benchmark suites. Our experimental evaluation considers different aspects for its comparison, including the performance impact of several design decisions, including time budget, size of search space, meta-learning, and ensemble construction. The results of our study reveal various interesting insights that can significantly guide and impact the design of AutoML frameworks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI