The Space Between: On Folding, Symmetries and Sampling

要約

最近の調査結果は、学習プロセス中の入力空間をreluアクティベーション関数を使用したニューラルネットワークの連続した層を示唆しています。
多くの作品はこの現象を示唆していますが、折りたたみを定量化するアプローチは、レリュー活性化空間でのハミング距離に基づいたスペース折りたたみ測定によって提案されたばかりでした。
この尺度を、入力データの等価クラスを導入することにより、より広いクラスのアクティベーション関数に一般化し、数学的および計算特性を分析し、実装のための効率的なサンプリング戦略を考え出します。
さらに、一般化エラーが低いときにネットワークの深さとともに空間の折りたたみ値が増加するが、エラーが増加すると減少することが観察されています。
これは、データマニホールド（例：反射下での不変性）で対称性を学んだ支持者が、スペースの折り目の観点から見ることができるようになり、ネットワークの一般化能力に貢献します。
これらの調査結果に触発されて、ネットワークがより高い折りたたみ値を特徴とするソリューションを求めることを奨励する新しい正規化スキームの概要を説明します。

要約(オリジナル)

Recent findings suggest that consecutive layers of neural networks with the ReLU activation function \emph{fold} the input space during the learning process. While many works hint at this phenomenon, an approach to quantify the folding was only recently proposed by means of a space folding measure based on Hamming distance in the ReLU activation space. We generalize this measure to a wider class of activation functions through introduction of equivalence classes of input data, analyse its mathematical and computational properties and come up with an efficient sampling strategy for its implementation. Moreover, it has been observed that space folding values increase with network depth when the generalization error is low, but decrease when the error increases. This underpins that learned symmetries in the data manifold (e.g., invariance under reflection) become visible in terms of space folds, contributing to the network’s generalization capacity. Inspired by these findings, we outline a novel regularization scheme that encourages the network to seek solutions characterized by higher folding values.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google