Decorrelating neurons using persistence

要約

私たちは、ニューロン間の高い相関を低減することにより、深層学習モデルの汎化能力を向上させる新しい方法を提案します。
このために、頂点が特定のネットワーク (またはそのサンプル) のニューロンであるクリークの最小スパニング ツリーの重みから計算された 2 つの正則化項を提示します。ここで、エッジの重みは相関相違度です。
当社では、用語の有効性を検証するための広範な実験を提供し、一般的な用語よりも優れていることを示しています。
また、ニューロン間のすべての相関を単純に最小化すると、正則化項よりも低い精度が得られることを示し、実際のネットワークに関する神経科学のいくつかの研究で証明されているように、人工ニューラルネットワークでは冗長性が重要な役割を果たすことを示唆しています。
正則化器の微分可能性の証明を含めることで、ニューロンのセット全体を考慮し、分類、データ生成、
回帰。

要約(オリジナル)

We propose a novel way to improve the generalisation capacity of deep learning models by reducing high correlations between neurons. For this, we present two regularisation terms computed from the weights of a minimum spanning tree of the clique whose vertices are the neurons of a given network (or a sample of those), where weights on edges are correlation dissimilarities. We provide an extensive set of experiments to validate the effectiveness of our terms, showing that they outperform popular ones. Also, we demonstrate that naive minimisation of all correlations between neurons obtains lower accuracies than our regularisation terms, suggesting that redundancies play a significant role in artificial neural networks, as evidenced by some studies in neuroscience for real networks. We include a proof of differentiability of our regularisers, thus developing the first effective topological persistence-based regularisation terms that consider the whole set of neurons and that can be applied to a feedforward architecture in any deep learning task such as classification, data generation, or regression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google