From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport

要約

過去 10 年間、私たちは、さまざまなタスクにわたってパフォーマンスが向上し続けるいくつかの新しいディープ ニューラル ネットワーク (DNN) アーキテクチャの導入を目の当たりにしてきました。
ただし、同等の深さと幅（表現力に関連する共通の要素）を持つさまざまな DNN アーキテクチャは、同じデータセットでトレーニングした場合でも大幅に異なるパフォーマンスを示す可能性があるため、パフォーマンスの上昇傾向を説明するのは依然として困難です。
この論文では、ディープ ニューラル ネットワークの非線形性を近似的に測定するための最初の理論的に適切なソリューションである DNN の非線形性シグネチャの概念を紹介します。
このシグネチャは、閉じた形式の最適トランスポート マッピングから導出されたスコアに基づいて構築されており、特にコンピューター ビジョン タスクに重点を置き、幅広い DNN アーキテクチャの内部動作と学習パラダイムをより深く理解できるようになります。
提案された非線形シグネチャの実際的な有用性と、その長期にわたる影響の可能性を強調する広範な実験結果を提供します。
私たちの作業のコードは https://github.com/qbouniot/AffScoreDeep で入手できます。

要約(オリジナル)

In the last decade, we have witnessed the introduction of several novel deep neural network (DNN) architectures exhibiting ever-increasing performance across diverse tasks. Explaining the upward trend of their performance, however, remains difficult as different DNN architectures of comparable depth and width — common factors associated with their expressive power — may exhibit a drastically different performance even when trained on the same dataset. In this paper, we introduce the concept of the non-linearity signature of DNN, the first theoretically sound solution for approximately measuring the non-linearity of deep neural networks. Built upon a score derived from closed-form optimal transport mappings, this signature provides a better understanding of the inner workings of a wide range of DNN architectures and learning paradigms, with a particular emphasis on the computer vision task. We provide extensive experimental results that highlight the practical usefulness of the proposed non-linearity signature and its potential for long-reaching implications. The code for our work is available at https://github.com/qbouniot/AffScoreDeep

arxiv情報

提供元, 利用サービス

arxiv.jp, Google