Metric as Transform: Exploring beyond Affine Transform for Interpretable Neural Network

要約

さまざまなアーキテクチャの人工ニューラル ネットワークは、通常、中核でアフィン変換と組み合わせられます。
ただし、グローバルな影響を持つ内積ニューロンは、(Radial Basis Function Network で使用される) ユークリッド距離のローカルな影響と比較して解釈しにくいことがわかります。
この研究では、内積ニューロンの $l^p$-norm や計量などへの一般化を探ります。
変換としてのメトリックは、多層パーセプトロンまたは畳み込みニューラル ネットワークで使用される場合、アフィン変換と同様に実行されることがわかります。
さらに、メトリクスのさまざまなプロパティを調査し、Affine と比較し、メトリクスがより良い解釈を提供すると思われる複数のケースを示します。
私たちは解釈可能なローカル辞書ベースのニューラル ネットワークを開発し、それを敵対的な例を理解して拒否するために使用します。

要約(オリジナル)

Artificial Neural Networks of varying architectures are generally paired with affine transformation at the core. However, we find dot product neurons with global influence less interpretable as compared to local influence of euclidean distance (as used in Radial Basis Function Network). In this work, we explore the generalization of dot product neurons to $l^p$-norm, metrics, and beyond. We find that metrics as transform performs similarly to affine transform when used in MultiLayer Perceptron or Convolutional Neural Network. Moreover, we explore various properties of Metrics, compare it with Affine, and present multiple cases where metrics seem to provide better interpretability. We develop an interpretable local dictionary based Neural Networks and use it to understand and reject adversarial examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google