Discovering and Explaining the Representation Bottleneck of DNNs

要約

本論文では、DNN（ディープニューラルネットワーク）の特徴表現のボトルネックを、DNNに符号化される入力変数間の相互作用の複雑さの観点から探る。そのために、入力変数間の多次相互作用に着目し、その次数は相互作用の複雑さを表す。その結果、DNNは単純すぎる相互作用も複雑すぎる相互作用も符号化しやすいが、通常は中程度の複雑さの相互作用を学習できないことを発見した。このような現象は、異なるタスクに対する異なるDNNによって広く共有されています。この現象は、DNNと人間との間の認知ギャップを示しており、我々はこれを表現ボトルネックと呼んでいます。我々は、表現ボトルネックの根本的な理由を理論的に証明する。さらに、特定の複雑さを持つ相互作用の学習を促進/評価するための損失を提案し、異なる複雑さを持つ相互作用の表現能力を分析する。

要約(オリジナル)

This paper explores the bottleneck of feature representations of deep neural networks (DNNs), from the perspective of the complexity of interactions between input variables encoded in DNNs. To this end, we focus on the multi-order interaction between input variables, where the order represents the complexity of interactions. We discover that a DNN is more likely to encode both too simple interactions and too complex interactions, but usually fails to learn interactions of intermediate complexity. Such a phenomenon is widely shared by different DNNs for different tasks. This phenomenon indicates a cognition gap between DNNs and human beings, and we call it a representation bottleneck. We theoretically prove the underlying reason for the representation bottleneck. Furthermore, we propose a loss to encourage/penalize the learning of interactions of specific complexities, and analyze the representation capacities of interactions of different complexities.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL