MOLE: MOdular Learning FramEwork via Mutual Information Maximization

要約

この論文では、Modular Learning Framework (MOLE) と呼ばれる、ニューラル ネットワーク用の非同期ローカル学習フレームワークを紹介します。
このフレームワークはニューラルネットワークを層ごとにモジュール化し、各モジュールの相互情報量によって学習目標を定義し、相互情報量の最大化によって各モジュールを順次学習します。
MOLE は、モジュール間で勾配を分離してトレーニングを局所最適化します。このスキームは BP よりも生物学的に妥当です。
ベクトル、グリッド、グラフタイプのデータに対して実験を実行します。
特に、このフレームワークは、グラフタイプのデータに対するグラフレベルとノードレベルの両方のタスクを解決できます。
したがって、MOLE はさまざまな種類のデータに普遍的に適用できることが実験的に証明されています。

要約(オリジナル)

This paper is to introduce an asynchronous and local learning framework for neural networks, named Modular Learning Framework (MOLE). This framework modularizes neural networks by layers, defines the training objective via mutual information for each module, and sequentially trains each module by mutual information maximization. MOLE makes the training become local optimization with gradient-isolated across modules, and this scheme is more biologically plausible than BP. We run experiments on vector-, grid- and graph-type data. In particular, this framework is capable of solving both graph- and node-level tasks for graph-type data. Therefore, MOLE has been experimentally proven to be universally applicable to different types of data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google