Understanding the Dynamics of DNNs Using Graph Modularity

要約

ディープニューラルネットワーク（DNN）は、以前の手作りの特徴エンジニアリングよりも優れた特徴表現をキャプチャし、パフォーマンスが大幅に向上するという主張を支持する良い議論があります。
このホワイトペーパーでは、レイヤー上のフィーチャ表現のダイナミクスを理解するための小さな一歩を踏み出します。
具体的には、動的グラフのコミュニティの進化として、事前にトレーニングされたDNNの中間表現のクラス分離のプロセスをモデル化します。
次に、コミュニティの進化を定量化するために、グラフ理論の一般的なメトリックであるモジュール性を紹介します。
予備実験では、層が深くなるにつれてモジュール性が大まかに増加する傾向があり、モデルの複雑さがデータセットに比べて大きい場合に劣化とプラトーが発生することがわかりました。
漸近解析を通じて、モジュール性がさまざまなアプリケーションに広く使用できることを証明します。
たとえば、モジュール性は、機能表現間の違いを定量化するための新しい洞察を提供します。
さらに重要なことは、モジュール性曲線の劣化とプラトーがDNNの冗長レイヤーを表し、パフォーマンスへの影響を最小限に抑えてプルーニングできることを示しています。これにより、レイヤープルーニングの理論的ガイダンスが提供されます。
私たちのコードはhttps://github.com/yaolu-zjut/Dynamic-Graphs-Constructionで入手できます。

要約(オリジナル)

There are good arguments to support the claim that deep neural networks (DNNs) capture better feature representations than the previous hand-crafted feature engineering, which leads to a significant performance improvement. In this paper, we move a tiny step towards understanding the dynamics of feature representations over layers. Specifically, we model the process of class separation of intermediate representations in pre-trained DNNs as the evolution of communities in dynamic graphs. Then, we introduce modularity, a generic metric in graph theory, to quantify the evolution of communities. In the preliminary experiment, we find that modularity roughly tends to increase as the layer goes deeper and the degradation and plateau arise when the model complexity is great relative to the dataset. Through an asymptotic analysis, we prove that modularity can be broadly used for different applications. For example, modularity provides new insights to quantify the difference between feature representations. More crucially, we demonstrate that the degradation and plateau in modularity curves represent redundant layers in DNNs and can be pruned with minimal impact on performance, which provides theoretical guidance for layer pruning. Our code is available at https://github.com/yaolu-zjut/Dynamic-Graphs-Construction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google