Designing Network Design Strategies Through Gradient Path Analysis

要約

高効率かつ高品質な表現力を持つネットワークアーキテクチャの設計は、ディープラーニングの分野において常に最も重要な研究課題となっています。今日のネットワーク設計戦略の多くは、異なる層から抽出された特徴をいかに統合するか、また、これらの特徴を効率的に抽出するための演算ユニットをいかに設計し、それによってネットワークの表現力を向上させるかに焦点をあてている。本論文では、新しいネットワーク設計戦略、すなわち、勾配経路解析に基づいてネットワークアーキテクチャを設計することを提案する。現在主流のネットワーク設計手法の多くはフィードフォワード経路、すなわちデータ経路に基づいてネットワークアーキテクチャを設計するものである。本論文では、ネットワークの学習能力を向上させることで、学習済みモデルの表現力を高めたいと考えている。ネットワークパラメータ学習のメカニズムが逆伝播アルゴリズムであることから、逆伝播経路に基づくネットワーク設計を行う。層レベル、ステージレベル、ネットワークレベルの勾配パス設計戦略を提案し、理論解析と実験からその設計戦略が優れており、実現可能であることを証明する。

要約(オリジナル)

Designing a high-efficiency and high-quality expressive network architecture has always been the most important research topic in the field of deep learning. Most of today’s network design strategies focus on how to integrate features extracted from different layers, and how to design computing units to effectively extract these features, thereby enhancing the expressiveness of the network. This paper proposes a new network design strategy, i.e., to design the network architecture based on gradient path analysis. On the whole, most of today’s mainstream network design strategies are based on feed forward path, that is, the network architecture is designed based on the data path. In this paper, we hope to enhance the expressive ability of the trained model by improving the network learning ability. Due to the mechanism driving the network parameter learning is the backward propagation algorithm, we design network design strategies based on back propagation path. We propose the gradient path design strategies for the layer-level, the stage-level, and the network-level, and the design strategies are proved to be superior and feasible from theoretical analysis and experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL