Seeking Interpretability and Explainability in Binary Activated Neural Networks

要約

私たちは、表形式データの回帰タスクのコンテキストで、解釈可能かつ説明可能な予測子としてバイナリ活性化ニューラル ネットワークの使用を研究します。
より具体的には、表現力の保証を提供し、特徴、隠れたニューロン、さらには重みの相対的な重要性を定量化するための SHAP 値の効率的な計算に基づくアプローチを提示します。
モデルの単純さは解釈可能性を達成するのに役立つため、コンパクトなバイナリ活性化ネットワークを構築するための貪欲なアルゴリズムを提案します。
このアプローチでは、ネットワークのアーキテクチャを事前に修正する必要はありません。一度に 1 つの層、一度に 1 つのニューロンが構築されるため、特定のタスクに対して不必要に複雑ではない予測子が得られます。

要約(オリジナル)

We study the use of binary activated neural networks as interpretable and explainable predictors in the context of regression tasks on tabular data; more specifically, we provide guarantees on their expressiveness, present an approach based on the efficient computation of SHAP values for quantifying the relative importance of the features, hidden neurons and even weights. As the model’s simplicity is instrumental in achieving interpretability, we propose a greedy algorithm for building compact binary activated networks. This approach doesn’t need to fix an architecture for the network in advance: it is built one layer at a time, one neuron at a time, leading to predictors that aren’t needlessly complex for a given task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google