Gaussian Process Neural Additive Models

要約

ディープ ニューラル ネットワークは多くの分野に革命をもたらしましたが、そのブラック ボックスの性質により、解釈可能で説明可能なモデルが必要とされる医療や金融などの分野での広範な採用が妨げられることもあります。
Neural Additive Models (NAM) の最近の開発は、表形式データセットの解釈可能な深層学習の方向への重要な一歩です。
この論文では、ランダム フーリエ特徴によるガウス過程の単層ニューラル ネットワーク構築を使用する NAM の新しいサブクラスを提案します。これをガウス過程ニューラル加算モデル (GP-NAM) と呼びます。
GP-NAM には、凸状の目的関数と、特徴の次元に応じて直線的に増加するトレーニング可能なパラメーターの数という利点があります。
GP は複雑なノンパラメトリック一変量関数の学習に適しているため、より深い NAM アプローチと比較してパフォーマンスが低下することはありません。
いくつかの表形式のデータセットで GP-NAM のパフォーマンスを実証し、パラメーターの数を大幅に削減しながら、分類タスクと回帰タスクの両方で同等またはそれ以上のパフォーマンスを達成することを示します。

要約(オリジナル)

Deep neural networks have revolutionized many fields, but their black-box nature also occasionally prevents their wider adoption in fields such as healthcare and finance, where interpretable and explainable models are required. The recent development of Neural Additive Models (NAMs) is a significant step in the direction of interpretable deep learning for tabular datasets. In this paper, we propose a new subclass of NAMs that use a single-layer neural network construction of the Gaussian process via random Fourier features, which we call Gaussian Process Neural Additive Models (GP-NAM). GP-NAMs have the advantage of a convex objective function and number of trainable parameters that grows linearly with feature dimensionality. It suffers no loss in performance compared to deeper NAM approaches because GPs are well-suited for learning complex non-parametric univariate functions. We demonstrate the performance of GP-NAM on several tabular datasets, showing that it achieves comparable or better performance in both classification and regression tasks with a large reduction in the number of parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google