Reliable and scalable variable importance estimation via warm-start and early stopping

要約

不透明なブラックボックス予測モデルがより一般的になるにつれて、これらのモデルの解釈を開発する必要性は非常に興味深いものです。
変数の重要性とShapley値の概念は、予測モデルに適用され、変数または変数のセットが予測パフォーマンスを改善する量を評価する解釈可能性の測定値です。
変数の数が大きい場合、変数の重要性を推定することは、ニューラルネットワークまたはその他のブラックボックスアルゴリズムを再トレーニングするには重要な追加の計算が必要なため、重要な計算上の課題を提示します。
この論文では、勾配降下と勾配ブースト（たとえば、ニューラルネットワーク、グラデーションブースト決定ツリーなど）を使用したアルゴリズムのこの課題に対処します。
ドロップアウト法を使用して勾配ベースの方法の早期停止のアイデアを使用することにより、ウォームスタートと組み合わせて、スケーラブルな方法を開発して、反復カーネル更新方程式として表現できるあらゆるアルゴリズムの重要性を推定します。
重要なことに、理論を使用して、より大きく（必ずしも無限ではない）幅と、対称ツリーをより弱い学習者として使用するグラデーションブースト決定ツリーを持つ神経ネットワークのカーネルベースの方法の早期停止のために理論を使用することにより、理論的保証を提供します。
また、モデルを完全に再トレーニングするのではなく、早期停止の計算上の利点とアプローチの精度の向上を示す、シミュレーションと実際のデータの例を通じてメソッドの有効性を実証します。

要約(オリジナル)

As opaque black-box predictive models become more prevalent, the need to develop interpretations for these models is of great interest. The concept of variable importance and Shapley values are interpretability measures that applies to any predictive model and assesses how much a variable or set of variables improves prediction performance. When the number of variables is large, estimating variable importance presents a significant computational challenge because re-training neural networks or other black-box algorithms requires significant additional computation. In this paper, we address this challenge for algorithms using gradient descent and gradient boosting (e.g. neural networks, gradient-boosted decision trees). By using the ideas of early stopping of gradient-based methods in combination with warm-start using the dropout method, we develop a scalable method to estimate variable importance for any algorithm that can be expressed as an iterative kernel update equation. Importantly, we provide theoretical guarantees by using the theory for early stopping of kernel-based methods for neural networks with sufficiently large (but not necessarily infinite) width and gradient-boosting decision trees that use symmetric trees as a weaker learner. We also demonstrate the efficacy of our methods through simulations and a real data example which illustrates the computational benefit of early stopping rather than fully re-training the model as well as the increased accuracy of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google