StackGenVis: Alignment of Data, Algorithms, and Models for Stacking Ensemble Learning Using Performance Metrics

要約

機械学習 (ML) では、バギング、ブースティング、スタッキングなどのアンサンブル手法が広く確立されており、常に最高の予測パフォーマンスを実現します。
スタッキング (「スタック一般化」とも呼ばれます) は、少なくとも 1 つのレイヤーに配置された異種の基本モデルを組み合わせてから、別のメタモデルを使用してそれらのモデルの予測を要約するアンサンブル手法です。
これは ML の予測パフォーマンスを向上させるための非常に効果的なアプローチである可能性がありますが、モデルのスタックを最初から生成するのは面倒な試行錯誤のプロセスになる可能性があります。
この課題は、トレーニングに使用できるさまざまなデータ インスタンスと特徴のセット、選択できるいくつかのアルゴリズム、および条件に応じて異なるパフォーマンスを示す多様なパラメーター (モデル) を使用したこれらのアルゴリズムのインスタンス化を伴う、利用可能なソリューションの膨大なスペースから生じています。
さまざまな指標。
この研究では、視覚化を使用してアンサンブル学習をサポートする知識生成モデルと、積み重ねられた一般化のための視覚分析システムを紹介します。
当社のシステム StackGenVis は、ユーザーがパフォーマンス メトリクスを動的に適応させ、データ インスタンスを管理し、特定のデータ セットの最も重要な機能を選択し、最高のパフォーマンスを誇る多様なアルゴリズムのセットを選択し、予測パフォーマンスを測定するのを支援します。
その結果、私たちが提案するツールは、ユーザーが異なるモデルのどちらかを決定し、期待が高すぎるモデルとパフォーマンスが低いモデルを削除することで、結果として得られるスタックの複雑さを軽減するのに役立ちます。
StackGenVis の適用性と有効性は、現実世界の医療データ セットとテキスト内のセンチメント/スタンス検出に関連するデータのコレクションという 2 つのユース ケースで実証されます。
最後に、このツールは 3 人の ML 専門家へのインタビューを通じて評価されました。

要約(オリジナル)

In machine learning (ML), ensemble methods such as bagging, boosting, and stacking are widely-established approaches that regularly achieve top-notch predictive performance. Stacking (also called ‘stacked generalization’) is an ensemble method that combines heterogeneous base models, arranged in at least one layer, and then employs another metamodel to summarize the predictions of those models. Although it may be a highly-effective approach for increasing the predictive performance of ML, generating a stack of models from scratch can be a cumbersome trial-and-error process. This challenge stems from the enormous space of available solutions, with different sets of data instances and features that could be used for training, several algorithms to choose from, and instantiations of these algorithms using diverse parameters (i.e., models) that perform differently according to various metrics. In this work, we present a knowledge generation model, which supports ensemble learning with the use of visualization, and a visual analytics system for stacked generalization. Our system, StackGenVis, assists users in dynamically adapting performance metrics, managing data instances, selecting the most important features for a given data set, choosing a set of top-performant and diverse algorithms, and measuring the predictive performance. In consequence, our proposed tool helps users to decide between distinct models and to reduce the complexity of the resulting stack by removing overpromising and underperforming models. The applicability and effectiveness of StackGenVis are demonstrated with two use cases: a real-world healthcare data set and a collection of data related to sentiment/stance detection in texts. Finally, the tool has been evaluated through interviews with three ML experts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google