Revisiting Generalization Power of a DNN in Terms of Symbolic Interactions

要約

このペーパーは、相互作用の観点から深いニューラルネットワーク（DNNS）の一般化力を分析することを目的としています。
高次元の特徴空間におけるDNNの一般化力の以前の分析とは異なり、DNNの一般化力は、相互作用の一般化力として説明できることがわかります。
一般化可能な相互作用は崩壊型分布に従うことがわかりましたが、非一般化できない相互作用は紡錘形の分布に従います。
さらに、私たちの理論は、DNNからのこれら2つのタイプの相互作用を効果的に解体することができます。
私たちの理論は、実験のDNNでの実際の相互作用とよく一致することを確認しました。

要約(オリジナル)

This paper aims to analyze the generalization power of deep neural networks (DNNs) from the perspective of interactions. Unlike previous analysis of a DNN’s generalization power in a highdimensional feature space, we find that the generalization power of a DNN can be explained as the generalization power of the interactions. We found that the generalizable interactions follow a decay-shaped distribution, while non-generalizable interactions follow a spindle-shaped distribution. Furthermore, our theory can effectively disentangle these two types of interactions from a DNN. We have verified that our theory can well match real interactions in a DNN in experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google