Regionally Additive Models: Explainable-by-design models minimizing feature interactions

要約

一般化加算モデル (GAM) は、さまざまなアプリケーションで広く使用されている設計による説明可能なモデルです。
GAM は、出力がコンポーネントと呼ばれる単変量関数の合計として表現できることを前提としています。
ただし、出力が複数の特徴に同時に依存する ML 問題では、この仮定は当てはまりません。
このような場合、GAM は基礎となる関数の交互作用項を捕捉できず、精度が標準以下になります。
この問題に（部分的に）対処するために、私たちは設計による説明が可能なモデルの新しいクラスである地域加法モデル（RAM）を提案します。
RAM は、相互作用が最小限に抑えられる特徴空間内のサブ領域を識別します。
これらの領域内では、出力を一変量関数 (コンポーネント) の合計として表現する方がより正確です。
したがって、RAM は、フィーチャごとに 1 つのコンポーネントではなく、各フィーチャのサブ領域ごとに 1 つのコンポーネントに適合します。
このアプローチにより、解釈可能性を維持しながら、GAM と比較してより表現力豊かなモデルが得られます。
RAM フレームワークは 3 つのステップで構成されます。
まず、ブラックボックス モデルをトレーニングします。
次に、地域効果プロットを使用して、ブラック ボックス モデルが局所に近い相加性を示すサブ領域を特定します。
最後に、特定されたサブ領域ごとに GAM コンポーネントを適合させます。
私たちは、合成データセットと現実世界のデータセットの両方での実験を通じて RAM の有効性を検証します。
この結果から、RAM は解釈可能性を維持しながら、GAM と比較して表現力が向上していることが確認されました。

要約(オリジナル)

Generalized Additive Models (GAMs) are widely used explainable-by-design models in various applications. GAMs assume that the output can be represented as a sum of univariate functions, referred to as components. However, this assumption fails in ML problems where the output depends on multiple features simultaneously. In these cases, GAMs fail to capture the interaction terms of the underlying function, leading to subpar accuracy. To (partially) address this issue, we propose Regionally Additive Models (RAMs), a novel class of explainable-by-design models. RAMs identify subregions within the feature space where interactions are minimized. Within these regions, it is more accurate to express the output as a sum of univariate functions (components). Consequently, RAMs fit one component per subregion of each feature instead of one component per feature. This approach yields a more expressive model compared to GAMs while retaining interpretability. The RAM framework consists of three steps. Firstly, we train a black-box model. Secondly, using Regional Effect Plots, we identify subregions where the black-box model exhibits near-local additivity. Lastly, we fit a GAM component for each identified subregion. We validate the effectiveness of RAMs through experiments on both synthetic and real-world datasets. The results confirm that RAMs offer improved expressiveness compared to GAMs while maintaining interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google