DeforestVis: Behavior Analysis of Machine Learning Models with Surrogate Decision Stumps

要約

機械学習 (ML) モデルの複雑さが増し、さまざまな (そして重要な) ドメインでのアプリケーションが拡大するにつれて、より解釈可能で信頼できる ML が強く求められています。
このようなモデルを解釈するための直接的でモデルに依存しない方法は、元のモデルに十分に近似しつつ、より単純で説明しやすい代理モデル (ルール セットやデシジョン ツリーなど) をトレーニングすることです。
ただし、多くの if-else ステートメントを含むルール セットは非常に長くなる可能性があり、複雑な ML モデルを正確にエミュレートするとデシジョン ツリーの深さが急速に増大します。
このような場合、どちらのアプローチも、ユーザーにモデルの解釈可能性を提供するという中核的な目標を達成できない可能性があります。
これに取り組むために、私たちは DeforestVis を提案します。これは、アダプティブ ブースティング (AdaBoost) 手法で生成された代理意思決定スタンプ (1 レベルの意思決定ツリー) を提供することで、複雑な ML モデルの動作を要約する視覚分析ツールです。
DeforestVis は、より多くのスタンプを段階的に生成し、意思決定を正当化するために重み付けされたスタンプを使用して属性ベースの説明を作成し、1 つ以上のスタンプ間のトレーニング インスタンスの割り当てに対するルールのオーバーライドの影響を分析することにより、ユーザーが複雑さと忠実度のトレードオフを調査するのに役立ちます。
独立したテスト セットにより、ユーザーは手動によるルール変更の有効性を監視し、ケースバイケースの分析に基づいて仮説を立てることができます。
DeforestVis の適用性と有用性を 2 つの使用例と、データ アナリストとモデル開発者との専門家インタビューで示します。

要約(オリジナル)

As the complexity of machine learning (ML) models increases and their application in different (and critical) domains grows, there is a strong demand for more interpretable and trustworthy ML. A direct, model-agnostic, way to interpret such models is to train surrogate models-such as rule sets and decision trees-that sufficiently approximate the original ones while being simpler and easier-to-explain. Yet, rule sets can become very lengthy, with many if-else statements, and decision tree depth grows rapidly when accurately emulating complex ML models. In such cases, both approaches can fail to meet their core goal-providing users with model interpretability. To tackle this, we propose DeforestVis, a visual analytics tool that offers summarization of the behaviour of complex ML models by providing surrogate decision stumps (one-level decision trees) generated with the Adaptive Boosting (AdaBoost) technique. DeforestVis helps users to explore the complexity versus fidelity trade-off by incrementally generating more stumps, creating attribute-based explanations with weighted stumps to justify decision making, and analysing the impact of rule overriding on training instance allocation between one or more stumps. An independent test set allows users to monitor the effectiveness of manual rule changes and form hypotheses based on case-by-case analyses. We show the applicability and usefulness of DeforestVis with two use cases and expert interviews with data analysts and model developers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google