Self Expanding Neural Networks

要約

ニューラル ネットワークのトレーニング結果は、選択したアーキテクチャに大きく依存します。
また、ネットワークのサイズのみを変更する場合でも、たとえそれが小さくても、通常はトレーニング プロセスの再起動が必要になります。
これとは対照的に、小規模なアーキテクチャでトレーニングを開始し、問題に必要なだけその容量を増やし、その間に以前の最適化に干渉することを避けます。
そこで、仮説上の収束トレーニング損失を大幅に削減できる可能性がある場合に、ニューラル ネットワークの幅と深さの両方を直感的に拡張する自然勾配ベースのアプローチを導入します。
ニューロンが追加される「レート」の上限と、拡張スコアの計算コストが低い下限を証明します。
適切なアーキテクチャ サイズが事前に実質的に不確実である問題を含め、分類問題と回帰問題の両方におけるこのような自己拡張型ニューラル ネットワークの利点を説明します。

要約(オリジナル)

The results of training a neural network are heavily dependent on the architecture chosen; and even a modification of only the size of the network, however small, typically involves restarting the training process. In contrast to this, we begin training with a small architecture, only increase its capacity as necessary for the problem, and avoid interfering with previous optimization while doing so. We thereby introduce a natural gradient based approach which intuitively expands both the width and depth of a neural network when this is likely to substantially reduce the hypothetical converged training loss. We prove an upper bound on the ‘rate’ at which neurons are added, and a computationally cheap lower bound on the expansion score. We illustrate the benefits of such Self-Expanding Neural Networks in both classification and regression problems, including those where the appropriate architecture size is substantially uncertain a priori.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google