Transforming to Yoked Neural Networks to Improve ANN Structure

要約

既存の古典的な人工ニューラル ネットワーク (ANN) のほとんどは、ニューラル ネットワークを模倣するツリー構造として設計されています。
この論文では、ツリーの接続性だけではニューラル ネットワークを特徴付けるのに十分ではないと主張します。
ツリーの同じレベルのノードは相互に接続できません。つまり、これらの神経ユニットは相互に情報を共有できません。これが ANN の大きな欠点です。
ANN は近年大幅に改良され、有向非巡回グラフ (DAG) などのより複雑な構造になっていますが、これらの方法も ANN に対して一方向性および非巡回バイアスを持っています。
この論文では、ANN の同じレベルのノードに対して双方向完全グラフを構築し、同じレベルのノードをヨークしてニューラル モジュールを定式化する方法を提案します。
このモデルを略して YNN と呼びます。
YNN は情報転送を大幅に促進し、メソッドのパフォーマンスの向上に明らかに役立ちます。
私たちの YNN は、従来の ANN と比較して、ニューラル ネットワークをはるかにうまく模倣できます。
この論文では、ANN の既存の構造的偏りを分析し、そのような構造的偏りを効率的に除去するモデル YNN を提案します。
私たちのモデルでは、ノードは特徴の集約と変換も実行し、エッジは情報の流れを決定します。
さらに、接続性の分布に補助的なスパース性制約を課します。これにより、学習された構造が重要な接続に焦点を当てることが促進されます。
最後に、最適化された構造に基づいて、YNN モデルの計算負荷を軽減するために、ミニマム カット手法に基づいて小さなニューラル モジュール構造も設計します。
この学習プロセスは、既存のネットワークやさまざまなタスクと互換性があります。
得られた定量的な実験結果は、学習された接続性が従来の NN 構造よりも優れていることを反映しています。

要約(オリジナル)

Most existing classical artificial neural networks (ANN) are designed as a tree structure to imitate neural networks. In this paper, we argue that the connectivity of a tree is not sufficient to characterize a neural network. The nodes of the same level of a tree cannot be connected with each other, i.e., these neural unit cannot share information with each other, which is a major drawback of ANN. Although ANN has been significantly improved in recent years to more complex structures, such as the directed acyclic graph (DAG), these methods also have unidirectional and acyclic bias for ANN. In this paper, we propose a method to build a bidirectional complete graph for the nodes in the same level of an ANN, which yokes the nodes of the same level to formulate a neural module. We call our model as YNN in short. YNN promotes the information transfer significantly which obviously helps in improving the performance of the method. Our YNN can imitate neural networks much better compared with the traditional ANN. In this paper, we analyze the existing structural bias of ANN and propose a model YNN to efficiently eliminate such structural bias. In our model, nodes also carry out aggregation and transformation of features, and edges determine the flow of information. We further impose auxiliary sparsity constraint to the distribution of connectedness, which promotes the learned structure to focus on critical connections. Finally, based on the optimized structure, we also design small neural module structure based on the minimum cut technique to reduce the computational burden of the YNN model. This learning process is compatible with the existing networks and different tasks. The obtained quantitative experimental results reflect that the learned connectivity is superior to the traditional NN structure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google