MetaStackVis: Visually-Assisted Performance Evaluation of Metamodels

要約

スタッキング (またはスタックされた一般化) は、他のものとは 1 つの大きな特徴を持つアンサンブル学習方法です。元のデータセットで複数の基本モデルがトレーニングされていても、それらの予測は、少なくとも 1 つに配置された 1 つ以上のメタモデルの入力データとしてさらに使用されます。
追加のレイヤー。
モデルのスタックを構成すると、高いパフォーマンスの結果が得られますが、通常は試行錯誤のプロセスが必要になります。
したがって、以前に開発したビジュアル分析システム StackGenVis は、主に、予測パフォーマンスを測定することで、ユーザーが最高のパフォーマンスを発揮する多様なモデルのセットを選択できるように設計されました。
ただし、単一のロジスティック回帰メタモデルのみを使用します。
この論文では、MetaStackVis と呼ばれる新しい視覚化ツールを使用して、スタッキング アンサンブルのパフォーマンスに対する代替メタモデルの影響を調査します。
当社の対話型ツールは、ユーザーが、予測確率と複数の検証メトリクス、および特定の問題のあるデータ インスタンスを予測する能力に基づいて、メタモデルのさまざまな単一モデルとペアを視覚的に探索するのに役立ちます。
MetaStackVis は、医療データセットに基づく使用シナリオと専門家のインタビューを通じて評価されました。

要約(オリジナル)

Stacking (or stacked generalization) is an ensemble learning method with one main distinctiveness from the rest: even though several base models are trained on the original data set, their predictions are further used as input data for one or more metamodels arranged in at least one extra layer. Composing a stack of models can produce high-performance outcomes, but it usually involves a trial-and-error process. Therefore, our previously developed visual analytics system, StackGenVis, was mainly designed to assist users in choosing a set of top-performing and diverse models by measuring their predictive performance. However, it only employs a single logistic regression metamodel. In this paper, we investigate the impact of alternative metamodels on the performance of stacking ensembles using a novel visualization tool, called MetaStackVis. Our interactive tool helps users to visually explore different singular and pairs of metamodels according to their predictive probabilities and multiple validation metrics, as well as their ability to predict specific problematic data instances. MetaStackVis was evaluated with a usage scenario based on a medical data set and via expert interviews.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google