On Learnable Parameters of Optimal and Suboptimal Deep Learning Models

要約

私たちは、特に学習可能なパラメーター (重み) 統計、分布、ノードの相互作用、視覚化のニュアンスに焦点を当てて、深層学習モデルの構造的および運用的側面を精査します。
重みパターンの分散とネットワーク全体のパフォーマンスの間の相関関係を確立することで、さまざまな深層学習モデルのさまざまな (最適および準最適な) パフォーマンスを調査します。
当社の実証分析は、MNIST、Fashion-MNIST、CIFAR-10 などの広く認識されているデータセットと、ディープ ニューラル ネットワーク (DNN)、畳み込みニューラル ネットワーク (CNN)、ビジョン トランスフォーマー (ViT) などのさまざまな深層学習モデルにまで及びます。
成功したネットワークと相関する学習可能なパラメータの特徴を正確に特定することができます。
深層学習モデルの多様なアーキテクチャに関する広範な実験を通じて、DNN の機能と効率に影響を与える重要な要素を明らかにしました。
私たちの調査結果では、データセットやモデルに関係なく、成功したネットワークは、収束された重み統計と分布において他の成功したネットワークと常に類似しているのに対し、パフォーマンスの悪いネットワークは重みが異なることが明らかになりました。
さらに、私たちの研究は、DNN、CNN、ViT などの多種多様な深層学習モデルの学習可能なパラメーターが同様の学習特性を示すことを示しています。

要約(オリジナル)

We scrutinize the structural and operational aspects of deep learning models, particularly focusing on the nuances of learnable parameters (weight) statistics, distribution, node interaction, and visualization. By establishing correlations between variance in weight patterns and overall network performance, we investigate the varying (optimal and suboptimal) performances of various deep-learning models. Our empirical analysis extends across widely recognized datasets such as MNIST, Fashion-MNIST, and CIFAR-10, and various deep learning models such as deep neural networks (DNNs), convolutional neural networks (CNNs), and vision transformer (ViT), enabling us to pinpoint characteristics of learnable parameters that correlate with successful networks. Through extensive experiments on the diverse architectures of deep learning models, we shed light on the critical factors that influence the functionality and efficiency of DNNs. Our findings reveal that successful networks, irrespective of datasets or models, are invariably similar to other successful networks in their converged weights statistics and distribution, while poor-performing networks vary in their weights. In addition, our research shows that the learnable parameters of widely varied deep learning models such as DNN, CNN, and ViT exhibit similar learning characteristics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google