Understanding deep neural networks through the lens of their non-linearity

要約

ディープ ニューラル ネットワーク (DNN) の目覚ましい成功は、多くの場合、その高い表現力と、任意の複雑さの関数を近似する能力に起因します。
実際、DNN は高度に非線形なモデルであり、DNN に導入された活性化関数がこれに大きく関与しています。
多くの研究では、DNN の近似機能というレンズを通して DNN の表現力が研究されていますが、DNN または個々の活性化関数の非線形性を定量化することは未解決の問題のままです。
この論文では、特にコンピューター ビジョン アプリケーションに焦点を当て、ディープ ニューラル ネットワークにおける非線形性伝播を追跡するための、理論的に健全な最初のソリューションを提案します。
私たちが提案する親和性スコアにより、さまざまなアーキテクチャや学習パラダイムの内部動作について洞察を得ることができます。
私たちは、提案された親和性スコアの実用性と長期にわたる応用の可能性を強調する広範な実験結果を提供します。

要約(オリジナル)

The remarkable success of deep neural networks (DNN) is often attributed to their high expressive power and their ability to approximate functions of arbitrary complexity. Indeed, DNNs are highly non-linear models, and activation functions introduced into them are largely responsible for this. While many works studied the expressive power of DNNs through the lens of their approximation capabilities, quantifying the non-linearity of DNNs or of individual activation functions remains an open problem. In this paper, we propose the first theoretically sound solution to track non-linearity propagation in deep neural networks with a specific focus on computer vision applications. Our proposed affinity score allows us to gain insights into the inner workings of a wide range of different architectures and learning paradigms. We provide extensive experimental results that highlight the practical utility of the proposed affinity score and its potential for long-reaching applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google