Exploring explicit coarse-grained structure in artificial neural networks

要約

我々は、人工ニューラルネットワークの階層的な粗視化構造を明示的に採用し、性能を低下させることなく解釈可能性を向上させることを提案する。このアイデアは2つの場面で適用されている。一つはTaylorNetと呼ばれるニューラルネットワークで、入力データから出力結果への一般的なマッピングを、魔法の非線形活性化に頼ることなく、直接テイラー級数で近似することを目的とするものである。もう一つは、データ蒸留のための新しいセットアップで、入力データセットを多段階に抽象化し、元のデータセットの関連する特徴を持ち、分類のための参照として使用できる新しいデータを生成することができます。いずれの場合も、粗視化構造はネットワークを単純化し、解釈可能性と効率性の両方を向上させる上で重要な役割を担っている。その有効性はMNISTとCIFAR-10データセットで実証された。また、さらなる改良と関連するいくつかの未解決の問題についても議論する。

要約(オリジナル)

We propose to employ the hierarchical coarse-grained structure in the artificial neural networks explicitly to improve the interpretability without degrading performance. The idea has been applied in two situations. One is a neural network called TaylorNet, which aims to approximate the general mapping from input data to output result in terms of Taylor series directly, without resorting to any magic nonlinear activations. The other is a new setup for data distillation, which can perform multi-level abstraction of the input dataset and generate new data that possesses the relevant features of the original dataset and can be used as references for classification. In both cases, the coarse-grained structure plays an important role in simplifying the network and improving both the interpretability and efficiency. The validity has been demonstrated on MNIST and CIFAR-10 datasets. Further improvement and some open questions related are also discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL