Interpreting and Disentangling Feature Components of Various Complexity from DNNs

要約

本稿では、DNNが学習する特徴量の複雑さを定義、定量化、分析することを目的とする。我々は特徴複雑度の一般的な定義を提案する。DNNのある層の特徴が与えられたとき、我々の手法はその特徴から異なる複雑さの次数の特徴成分を分離する。さらに、これらの特徴成分の信頼性、有効性、オーバーフィッティングの重要性を評価するためのメトリクスを設計する。さらに、特徴量の複雑さとDNNの性能の間に密接な関係を発見することに成功した。一般的な数学的ツールとして、特徴量の複雑さと提案するメトリクスは、ネットワーク圧縮と知識抽出の成功を分析するためにも利用できる。

要約(オリジナル)

This paper aims to define, quantify, and analyze the feature complexity that is learned by a DNN. We propose a generic definition for the feature complexity. Given the feature of a certain layer in the DNN, our method disentangles feature components of different complexity orders from the feature. We further design a set of metrics to evaluate the reliability, the effectiveness, and the significance of over-fitting of these feature components. Furthermore, we successfully discover a close relationship between the feature complexity and the performance of DNNs. As a generic mathematical tool, the feature complexity and the proposed metrics can also be used to analyze the success of network compression and knowledge distillation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL