Evolving machine learning workflows through interactive AutoML

要約

自動ワークフロー構成 (AWC) は、自動機械学習 (AutoML) に関連する問題であり、前処理および予測モデルの適切なシーケンスとその最適なハイパーパラメーターを見つけることができます。
この問題は、進化的アルゴリズム、特に文法誘導遺伝的プログラミング (G3P) を使用して解決できます。
AWC に対する現在の G3P アプローチでは、ワークフロー要素をどのように組み合わせるか、どのアルゴリズムを含めることができるかを正式に指定する固定文法が定義されています。
この論文では、ユーザーが文法を動的に変更して検索スペースを取り除き、関心のある領域に焦点を当てることを可能にする対話型 G3P アルゴリズムである \ourmethod を紹介します。
私たちの提案は、G3P 手法の利点と、AutoML のコンテキストではほとんど検討されていない領域であるインタラクティブな最適化お​​よび人間主導の機械学習からのアイデアを組み合わせた最初の提案です。
私たちのアプローチを評価するために、20 人の参加者が私たちの方法を操作して好みに応じてワークフローを進化させる実験的研究を紹介します。
私たちの結果は、私たちの方法と人間とのコラボレーションにより、人間の介入がない場合よりも必要なチューニング時間が短縮される、精度の点で高性能のワークフローを見つけることができることを裏付けています。

要約(オリジナル)

Automatic workflow composition (AWC) is a relevant problem in automated machine learning (AutoML) that allows finding suitable sequences of preprocessing and prediction models together with their optimal hyperparameters. This problem can be solved using evolutionary algorithms and, in particular, grammar-guided genetic programming (G3P). Current G3P approaches to AWC define a fixed grammar that formally specifies how workflow elements can be combined and which algorithms can be included. In this paper we present \ourmethod, an interactive G3P algorithm that allows users to dynamically modify the grammar to prune the search space and focus on their regions of interest. Our proposal is the first to combine the advantages of a G3P method with ideas from interactive optimisation and human-guided machine learning, an area little explored in the context of AutoML. To evaluate our approach, we present an experimental study in which 20 participants interact with \ourmethod to evolve workflows according to their preferences. Our results confirm that the collaboration between \ourmethod and humans allows us to find high-performance workflows in terms of accuracy that require less tuning time than those found without human intervention.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google