On The Expressivity of Recurrent Neural Cascades

要約

リカレント ニューラル カスケード (RNC) は、リカレント ニューロン間に循環依存性のないリカレント ニューラル ネットワークです。
このクラスのリカレント ネットワークは、実際に多くの注目を集めています。
バックプロパゲーションなどの固定アーキテクチャのトレーニング方法に加えて、カスケード アーキテクチャでは当然、再帰ノードが一度に 1 つずつ段階的に追加され、より小さなネットワークが得られる建設的な学習方法が可能になります。
さらに、非周期性は構造的な事前分布に相当し、同じ数のニューロンであっても、完全に接続されたアーキテクチャと比較して、より好ましいサンプルの複雑性が得られます。
中心的な問題は、カスケード アーキテクチャの利点が表現力の低下を犠牲にして得られるかどうかです。
私たちはこの質問に対する新たな洞察を提供します。
正のリカレント重みを使用して、sign と Tanh の活性化を使用して RNC によってキャプチャされた正規言語は、スターのない正規言語であることを示します。
結果を確立するために、単一のニューロンがどのセミグループとグループを実装できるかを分析することによってRNCの機能にアクセスする新しいフレームワークを開発しました。
私たちのフレームワークの注目すべき意味は、グループを実装できるニューロンを導入することによって、RNC がすべての通常言語の表現力を達成できることです。

要約(オリジナル)

Recurrent Neural Cascades (RNCs) are the recurrent neural networks with no cyclic dependencies among recurrent neurons. This class of recurrent networks has received a lot of attention in practice. Besides training methods for a fixed architecture such as backpropagation, the cascade architecture naturally allows for constructive learning methods, where recurrent nodes are added incrementally one at a time, often yielding smaller networks. Furthermore, acyclicity amounts to a structural prior that even for the same number of neurons yields a more favourable sample complexity compared to a fully-connected architecture. A central question is whether the advantages of the cascade architecture come at the cost of a reduced expressivity. We provide new insights into this question. We show that the regular languages captured by RNCs with sign and tanh activation with positive recurrent weights are the star-free regular languages. In order to establish our results we developed a novel framework where capabilities of RNCs are accessed by analysing which semigroups and groups a single neuron is able to implement. A notable implication of our framework is that RNCs can achieve the expressivity of all regular languages by introducing neurons that can implement groups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google