Neural Networks and the Chomsky Hierarchy

要約

信頼性の高い一般化は、安全な ML と AI の中心にあります。
ただし、ニューラル ネットワークがいつ、どのように一般化するかを理解することは、この分野で最も重要な未解決の問題の 1 つです。
この作業では、大規模な実証研究 (20’910 モデル、15 タスク) を実施して、計算理論からの洞察が実際のニューラル ネットワーク一般化の限界を予測できるかどうかを調査します。
チョムスキー階層に従ってタスクをグループ化すると、特定のアーキテクチャが分布外の入力に一般化できるかどうかを予測できることを示します。
これには、モデルがトレーニング データを完全に適合させるのに十分な容量があるにもかかわらず、膨大な量のデータとトレーニング時間でさえ、重要な一般化につながらないという否定的な結果が含まれます。
私たちの結果は、タスクのサブセットについて、RNN とトランスフォーマーは非正規のタスクを一般化できず、LSTM は正規のカウンター言語タスクを解決でき、構造化メモリ (スタックやメモリー テープなど) で増強されたネットワークのみが一般化できることを示しています。
コンテキストフリーおよびコンテキストセンシティブなタスクをうまく一般化できます。

要約(オリジナル)

Reliable generalization lies at the heart of safe ML and AI. However, understanding when and how neural networks generalize remains one of the most important unsolved problems in the field. In this work, we conduct an extensive empirical study (20’910 models, 15 tasks) to investigate whether insights from the theory of computation can predict the limits of neural network generalization in practice. We demonstrate that grouping tasks according to the Chomsky hierarchy allows us to forecast whether certain architectures will be able to generalize to out-of-distribution inputs. This includes negative results where even extensive amounts of data and training time never lead to any non-trivial generalization, despite models having sufficient capacity to fit the training data perfectly. Our results show that, for our subset of tasks, RNNs and Transformers fail to generalize on non-regular tasks, LSTMs can solve regular and counter-language tasks, and only networks augmented with structured memory (such as a stack or memory tape) can successfully generalize on context-free and context-sensitive tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google