Scalable Interpretability via Polynomials

要約

一般化加法モデル(GAM)は、急速に完全解釈可能な機械学習の主要な選択肢となった。しかし、DNNのような解釈不可能な手法とは異なり、表現力やスケーラビリティに欠けるため、実世界のタスクでは実現可能な代替手段とはなっていない。我々は、多項式のテンソルランク分解を用いて、強力で{em fully-interpretable}なモデルを学習する新しいクラスのGAMsを発表する。私たちのアプローチは、Scalable Polynomial Additive Models (SPAM)と呼ばれ、簡単にスケーラブルで、組み合わせ的なパラメータ爆発なしに{em all}高次特徴相互作用をモデル化することが可能です。SPAMは現在の解釈可能なアプローチをすべて凌駕し、最大数十万個の特徴を持つ一連の実世界ベンチマークにおいてDNN/XGBoostの性能に匹敵するものである。また、大規模な機械学習に適した解釈可能で高性能なシステムを構築するために、DNNの代わりにSPAMを用いることが可能であることを、被験者による評価で実証している。ソースコードは https://github.com/facebookresearch/nbm-spam で公開されています。

要約(オリジナル)

Generalized Additive Models (GAMs) have quickly become the leading choice for fully-interpretable machine learning. However, unlike uninterpretable methods such as DNNs, they lack expressive power and easy scalability, and are hence not a feasible alternative for real-world tasks. We present a new class of GAMs that use tensor rank decompositions of polynomials to learn powerful, {\em fully-interpretable} models. Our approach, titled Scalable Polynomial Additive Models (SPAM) is effortlessly scalable and models {\em all} higher-order feature interactions without a combinatorial parameter explosion. SPAM outperforms all current interpretable approaches, and matches DNN/XGBoost performance on a series of real-world benchmarks with up to hundreds of thousands of features. We demonstrate by human subject evaluations that SPAMs are demonstrably more interpretable in practice, and are hence an effortless replacement for DNNs for creating interpretable and high-performance systems suitable for large-scale machine learning. Source code is available at https://github.com/facebookresearch/nbm-spam.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL