On Efficiently Representing Regular Languages as RNNs

要約

Hewittらによる最近の研究。
(2020) は、言語モデル (LM) としてのリカレント ニューラル ネットワーク (RNN) の経験的な成功についての解釈を提供しています。
これは、RNN が人間の言語に広く普及している境界付きの階層構造を効率的に表現できることを示しています。
これは、RNN の成功が階層をモデル化する能力に関連している可能性があることを示唆しています。
しかし、Hewitt et al. (2020) の構造を詳しく調べると、本質的に階層構造に限定されていないことがわかります。
これは当然の疑問です。RNN は他にどのようなクラスの LM を効率的に表現できるのでしょうか?
この目的を達成するために、我々は Hewitt et al. (2020) の構築を一般化し、RNN が以前に主張されていたよりも大きなクラスの LM を効率的に表現できること、具体的には、有界スタックと
特定のスタック更新関数。
まとめると、この多様なクラスの LM を RNN LM で表現する効率は、帰納的バイアスの新しい解釈を示唆しています。

要約(オリジナル)

Recent work by Hewitt et al. (2020) provides an interpretation of the empirical success of recurrent neural networks (RNNs) as language models (LMs). It shows that RNNs can efficiently represent bounded hierarchical structures that are prevalent in human language. This suggests that RNNs’ success might be linked to their ability to model hierarchy. However, a closer inspection of Hewitt et al.’s (2020) construction shows that it is not inherently limited to hierarchical structures. This poses a natural question: What other classes of LMs can RNNs efficiently represent? To this end, we generalize Hewitt et al.’s (2020) construction and show that RNNs can efficiently represent a larger class of LMs than previously claimed — specifically, those that can be represented by a pushdown automaton with a bounded stack and a specific stack update function. Altogether, the efficiency of representing this diverse class of LMs with RNN LMs suggests novel interpretations of their inductive bias.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google