VisEvol: Visual Analytics to Support Hyperparameter Search through Evolutionary Optimization

要約

機械学習 (ML) モデルのトレーニング段階では、通常、いくつかのハイパーパラメーターを構成する必要があります。
このプロセスは計算量が多く、特定の問題に対して最適なハイパーパラメータ セットを推測するには広範な検索が必要です。
ほとんどの ML モデルは内部的に複雑であり、トレーニングには予測結果に著しく影響を与える可能性のある試行錯誤のプロセスが含まれるという事実によって、この課題はさらに悪化します。
さらに、ML アルゴリズムの各ハイパーパラメータは他のハイパーパラメータと潜在的に絡み合っており、変更すると残りのハイパーパラメータに予期せぬ影響が生じる可能性があります。
進化的最適化は、これらの問題に対処するための有望な方法です。
この方法によれば、パフォーマンスの高いモデルが保存され、残りは遺伝的アルゴリズムにヒントを得た交叉および突然変異プロセスを通じて改善されます。
ハイパーパラメータのインタラクティブな探索とこの進化の手順への介入をサポートする視覚分析ツールである VisEvol を紹介します。
要約すると、私たちが提案するツールは、ユーザーが進化を通じて新しいモデルを生成し、最終的には広範なハイパーパラメータ空間のさまざまな領域で強力なハイパーパラメータの組み合わせを探索するのに役立ちます。
結果は、最終的な予測パフォーマンスを高める投票アンサンブル (同等の権利を持つ) になります。
VisEvol の有用性と適用性は、2 つの使用例と、ツールの有効性を評価した ML 専門家へのインタビューによって実証されています。

要約(オリジナル)

During the training phase of machine learning (ML) models, it is usually necessary to configure several hyperparameters. This process is computationally intensive and requires an extensive search to infer the best hyperparameter set for the given problem. The challenge is exacerbated by the fact that most ML models are complex internally, and training involves trial-and-error processes that could remarkably affect the predictive result. Moreover, each hyperparameter of an ML algorithm is potentially intertwined with the others, and changing it might result in unforeseeable impacts on the remaining hyperparameters. Evolutionary optimization is a promising method to try and address those issues. According to this method, performant models are stored, while the remainder are improved through crossover and mutation processes inspired by genetic algorithms. We present VisEvol, a visual analytics tool that supports interactive exploration of hyperparameters and intervention in this evolutionary procedure. In summary, our proposed tool helps the user to generate new models through evolution and eventually explore powerful hyperparameter combinations in diverse regions of the extensive hyperparameter space. The outcome is a voting ensemble (with equal rights) that boosts the final predictive performance. The utility and applicability of VisEvol are demonstrated with two use cases and interviews with ML experts who evaluated the effectiveness of the tool.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google