Quantification and Analysis of Layer-wise and Pixel-wise Information Discarding

要約

この論文では、各入力変数の情報がディープニューラルネットワーク（DNN）での順伝播中に徐々に破棄される方法を説明する方法を紹介します。これにより、DNNを説明するための新しい視点が提供されます。
2種類のエントロピーベースのメトリックを定義します。つまり、（1）順伝播で使用されるピクセル単位の情報の破棄、および（2）入力再構成の不確実性を定義して、特定のレイヤーに含まれる入力情報を2つの観点から測定します。
。
以前のアトリビューションメトリックとは異なり、提案されたメトリックは、異なるDNNの異なるレイヤー間の比較の公平性を保証します。
これらのメトリックを使用して、DNNのパフォーマンスとの強いつながりを示すDNNでの情報処理の効率を分析できます。
特徴情報を測定する情報ボトルネック理論とは異なり、ピクセル単位で情報破棄を分析します。
サンプル分布。
実験により、従来のDNNを分析し、既存の深層学習手法を説明する際の指標の有効性が示されました。

要約(オリジナル)

This paper presents a method to explain how the information of each input variable is gradually discarded during the forward propagation in a deep neural network (DNN), which provides new perspectives to explain DNNs. We define two types of entropy-based metrics, i.e. (1) the discarding of pixel-wise information used in the forward propagation, and (2) the uncertainty of the input reconstruction, to measure input information contained by a specific layer from two perspectives. Unlike previous attribution metrics, the proposed metrics ensure the fairness of comparisons between different layers of different DNNs. We can use these metrics to analyze the efficiency of information processing in DNNs, which exhibits strong connections to the performance of DNNs. We analyze information discarding in a pixel-wise manner, which is different from the information bottleneck theory measuring feature information w.r.t. the sample distribution. Experiments have shown the effectiveness of our metrics in analyzing classic DNNs and explaining existing deep-learning techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google