Learning on tree architectures outperforms a convolutional feedforward network

要約

高度な深層学習アーキテクチャは、完全に接続された数十の畳み込み隠れ層で構成され、現在は数百に拡張されており、生物学的な実現にはほど遠いものです。
出力ユニットと重量の間のルートの数は通常、バックプロパゲーション手法を使用して多いため、それらの信じがたい生物学的ダイナミクスは、非局所的な方法で重量を変更することに依存しています。
ここでは、実験ベースの樹状突起ツリーの適応に触発された 3 層ツリー アーキテクチャが開発され、CIFAR-10 データベースのオフラインおよびオンライン学習に適用されます。
提案されたアーキテクチャは、5 層の畳み込み LeNet の達成可能な成功率よりも優れています。
さらに、単一のルートが出力ユニットと重みを接続する、提案されたアーキテクチャの高度に枝刈りされたツリー バックプロパゲーション アプローチは、効率的な樹状深層学習を表します。

要約(オリジナル)

Advanced deep learning architectures consist of tens of fully connected and convolutional hidden layers, currently extended to hundreds, are far from their biological realization. Their implausible biological dynamics relies on changing a weight in a non-local manner, as the number of routes between an output unit and a weight is typically large, using the backpropagation technique. Here, a 3-layer tree architecture inspired by experimental-based dendritic tree adaptations is developed and applied to the offline and online learning of the CIFAR-10 database. The proposed architecture outperforms the achievable success rates of the 5-layer convolutional LeNet. Moreover, the highly pruned tree backpropagation approach of the proposed architecture, where a single route connects an output unit and a weight, represents an efficient dendritic deep learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google