Beyond Black-Box Predictions: Identifying Marginal Feature Effects in Tabular Transformer Networks

要約

近年、深いニューラルネットワークは、さまざまなタスクにわたって予測力を示しています。
自然言語処理を超えて、トランスアーキテクチャは表形式のデータの問題に対処するのに効率的であることが証明されており、これらの分野の以前に支配的な勾配ベースの決定ツリーに挑戦しています。
ただし、この予測力はわかりやすさの犠牲を払ってもたらされます。周辺の特徴効果は、深いTlulalトランスネットワークのブラックボックスの性質でほぼ完全に失われます。
古典的な統計回帰モデルの添加剤制約を使用する代替アーキテクチャは、わかりやすい周辺の特徴効果を維持できますが、より複雑な対応物と比較して予測力が不足していることがよくあります。
明瞭度とパフォーマンスの間のギャップを埋めるために、周辺の特徴効果を識別するために設計された表形式トランスネットワークの適応を提案します。
わずかな特徴効果を正確に特定できるという理論的正当性を提供し、私たちのアブレーション研究は、提案されたモデルが複雑な特徴の相互作用の中でさえ、これらの効果を効率的に検出することを実証しています。
モデルの予測機能を実証するために、それをブラックボックスモデルと同様にいくつかの解釈可能なモデルと比較し、明瞭度を維持しながらブラックボックスのパフォーマンスに一致する可能性があることがわかります。
ソースコードは、https：//github.com/opentabular/nampyで入手できます。

要約(オリジナル)

In recent years, deep neural networks have showcased their predictive power across a variety of tasks. Beyond natural language processing, the transformer architecture has proven efficient in addressing tabular data problems and challenges the previously dominant gradient-based decision trees in these areas. However, this predictive power comes at the cost of intelligibility: Marginal feature effects are almost completely lost in the black-box nature of deep tabular transformer networks. Alternative architectures that use the additivity constraints of classical statistical regression models can maintain intelligible marginal feature effects, but often fall short in predictive power compared to their more complex counterparts. To bridge the gap between intelligibility and performance, we propose an adaptation of tabular transformer networks designed to identify marginal feature effects. We provide theoretical justifications that marginal feature effects can be accurately identified, and our ablation study demonstrates that the proposed model efficiently detects these effects, even amidst complex feature interactions. To demonstrate the model’s predictive capabilities, we compare it to several interpretable as well as black-box models and find that it can match black-box performances while maintaining intelligibility. The source code is available at https://github.com/OpenTabular/NAMpy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google