Neural Basis Models for Interpretability

要約

実世界のアプリケーションで複雑な機械学習モデルが広く使われているため、モデルの予測値を説明することが重要になってきている。しかし、これらのモデルは一般的にブラックボックス化されたニューラルネットワークであり、忠実性の限界が知られている手法によってその場しのぎで説明されています。一般化加法モデル（GAM）は、各特徴に対して個別に非線形形状関数を学習し、その上で線形モデルを学習することによってこの制限に対処する、本質的に解釈可能なモデルのクラスである。しかし、これらのモデルは一般的に学習が難しく、多数のパラメータを必要とし、スケールアップが困難である。 我々は、形状関数の基底分解を利用した全く新しいGAMのサブファミリーを提案する。少数の基底関数は全ての特徴で共有され、与えられたタスクに対して共同で学習される。このため、我々のモデルは高次元の特徴を持つ大規模データ、特に特徴が疎な場合に、より良くスケールする。我々は、これらの基底関数を学習するために単一のニューラルネットワークを用いたニューラルベイスモデル(NBM)と呼ばれるアーキテクチャを提案する。様々な表や画像のデータセットにおいて、解釈可能な機械学習において、NBMは精度、モデルサイズ、スループットの点で最先端であり、すべての高次特徴相互作用を容易にモデル化できることを実証する。 ソースコードは https://github.com/facebookresearch/nbm-spam で公開されている。

要約(オリジナル)

Due to the widespread use of complex machine learning models in real-world applications, it is becoming critical to explain model predictions. However, these models are typically black-box deep neural networks, explained post-hoc via methods with known faithfulness limitations. Generalized Additive Models (GAMs) are an inherently interpretable class of models that address this limitation by learning a non-linear shape function for each feature separately, followed by a linear model on top. However, these models are typically difficult to train, require numerous parameters, and are difficult to scale. We propose an entirely new subfamily of GAMs that utilizes basis decomposition of shape functions. A small number of basis functions are shared among all features, and are learned jointly for a given task, thus making our model scale much better to large-scale data with high-dimensional features, especially when features are sparse. We propose an architecture denoted as the Neural Basis Model (NBM) which uses a single neural network to learn these bases. On a variety of tabular and image datasets, we demonstrate that for interpretable machine learning, NBMs are the state-of-the-art in accuracy, model size, and, throughput and can easily model all higher-order feature interactions. Source code is available at https://github.com/facebookresearch/nbm-spam.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL