On the Representational Capacity of Recurrent Neural Language Models

要約

この研究では、リカレント ニューラル ネットワーク (RNN) に基づく言語モデル (LM) の計算表現力を調査します。
Siegelmann と Sontag (1992 年) は、有理重みと隠れ状態と無制限の計算時間を備えた RNN がチューリング完全であることを示したことは有名です。
ただし、LM は単なる (重み付けされていない) 言語メンバーシップに加えて文字列に対する重み付けを定義しており、RNN LM (RLM) の計算能力の分析はこれを反映する必要があります。
チューリング完全性の結果を確率的なケースに拡張し、無制限の計算時間を持つ合理的に重み付けされた RLM が、合理的に重み付けされた遷移を持つ決定論的な確率的チューリング マシン (PTM) をどのようにシミュレートできるかを示します。
実際には、RLM はリアルタイムで動作し、タイム ステップごとにシンボルを処理するため、上記の結果を RLM の表現力の上限として扱います。
また、リアルタイム計算に対する制限の下で、そのようなモデルが決定論的なリアルタイム合理的 PTM をシミュレートできることを示すことで、下限も提供します。

要約(オリジナル)

This work investigates the computational expressivity of language models (LMs) based on recurrent neural networks (RNNs). Siegelmann and Sontag (1992) famously showed that RNNs with rational weights and hidden states and unbounded computation time are Turing complete. However, LMs define weightings over strings in addition to just (unweighted) language membership and the analysis of the computational power of RNN LMs (RLMs) should reflect this. We extend the Turing completeness result to the probabilistic case, showing how a rationally weighted RLM with unbounded computation time can simulate any deterministic probabilistic Turing machine (PTM) with rationally weighted transitions. Since, in practice, RLMs work in real-time, processing a symbol at every time step, we treat the above result as an upper bound on the expressivity of RLMs. We also provide a lower bound by showing that under the restriction to real-time computation, such models can simulate deterministic real-time rational PTMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google