Towards Disentangling Information Paths with Coded ResNeXt

要約

従来の広く使用されているディープ ラーニング モデルのブラック ボックスとしての扱いでは、ニューラル ネットワークの意思決定を導くメカニズムについての洞察が限られているか、まったく得られません。
この問題に対処するための解釈可能なモデルの構築に多大な研究努力が費やされてきました。
ほとんどの取り組みは、最後の層に関連付けられた高レベルの機能に焦点を当てるか、単一層の出力を解釈しようとします。
本稿では、ネットワーク全体の機能の透明性を高めるための新しいアプローチを採用します。
我々は、各クラスに関連する情報が特定のパスを流れる、分類用のニューラル ネットワーク アーキテクチャを提案します。
これらのパスは、クラス間の意味論的な類似性に依存せず、コーディング理論を活用してトレーニング前に事前に設計されます。
重要な特性は、各パスを自律的な単一目的モデルとして使用できることです。
これにより、追加のトレーニングを行わずに、どのクラスでも、元のネットワークよりもパラメーターが少なくとも $60\%$ 少ない軽量のバイナリ分類器を取得できます。
さらに、コーディング理論に基づいたアプローチにより、ニューラル ネットワークは、完全な評価を必要とせずに、推論中に中間層で早期予測を行うことができます。
注目すべきことに、提案されたアーキテクチャは、全体の精度を向上させながら、前述のすべての特性を提供します。
これらの特性を、CIFAR-10/100 および ImageNet-1k でテストされたわずかに変更された ResNeXt モデルで実証します。

要約(オリジナル)

The conventional, widely used treatment of deep learning models as black boxes provides limited or no insights into the mechanisms that guide neural network decisions. Significant research effort has been dedicated to building interpretable models to address this issue. Most efforts either focus on the high-level features associated with the last layers, or attempt to interpret the output of a single layer. In this paper, we take a novel approach to enhance the transparency of the function of the whole network. We propose a neural network architecture for classification, in which the information that is relevant to each class flows through specific paths. These paths are designed in advance before training leveraging coding theory and without depending on the semantic similarities between classes. A key property is that each path can be used as an autonomous single-purpose model. This enables us to obtain, without any additional training and for any class, a lightweight binary classifier that has at least $60\%$ fewer parameters than the original network. Furthermore, our coding theory based approach allows the neural network to make early predictions at intermediate layers during inference, without requiring its full evaluation. Remarkably, the proposed architecture provides all the aforementioned properties while improving the overall accuracy. We demonstrate these properties on a slightly modified ResNeXt model tested on CIFAR-10/100 and ImageNet-1k.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google