Training Neural Networks as Recognizers of Formal Languages

要約

正式な言語理論の観点からニューラルネットワークアーキテクチャの計算力を特徴付けることは、現代AIの推論能力の下限と上限を説明するため、重要な研究の依然として重要な研究のラインです。
ただし、これらの境界を経験的にテストする場合、既存の作業はしばしば、実験とそれらがサポートすることを意図している正式な主張との間に矛盾を残します。
問題は、正式な言語理論が特に認識者に関係していることです。入力として文字列を受け取るマシンと、それが言語に属するかどうかを分類することです。
一方、代わりに、根本的な理論と非公式な意味でのみ類似している、言語モデリングやシーケンスからシーケンスへの変換など、プロキシタスクの言語モデルを評価することが一般的です。
さまざまな言語に適用できる一般的な方法を使用して、文字列のバイナリ分類器としてニューラルネットワークを直接トレーニングおよび評価することにより、この不一致を修正します。
その一部として、Sn {\ ae} Bjarnarson et alによって最近提案されたアルゴリズムを拡張します。
（2025）通常の言語からの文字列の効率的な長さ制御されたサンプリング。
3つの神経アーキテクチャのチョムスキー階層全体のさまざまな言語で結果を提供します：単純なRNN、LSTM、因果マスクされたトランスです。
RNNとLSTMはしばしばトランスを上回ることができ、言語モデリングなどの補助トレーニング目標が役立つことがわかりますが、言語やアーキテクチャ間のパフォーマンスを均一に改善する目標はありません。
私たちの貢献は、将来の仕事における言語認識の主張の理論的に健全な経験的テストを促進します。
データセットは、Flare（正式な言語認識）と呼ばれるベンチマークとしてコードをリリースしました。

要約(オリジナル)

Characterizing the computational power of neural network architectures in terms of formal language theory remains a crucial line of research, as it describes lower and upper bounds on the reasoning capabilities of modern AI. However, when empirically testing these bounds, existing work often leaves a discrepancy between experiments and the formal claims they are meant to support. The problem is that formal language theory pertains specifically to recognizers: machines that receive a string as input and classify whether it belongs to a language. On the other hand, it is common instead to evaluate language models on proxy tasks, e.g., language modeling or sequence-to-sequence transduction, that are similar in only an informal sense to the underlying theory. We correct this mismatch by training and evaluating neural networks directly as binary classifiers of strings, using a general method that can be applied to a wide variety of languages. As part of this, we extend an algorithm recently proposed by Sn{\ae}bjarnarson et al. (2025) for efficient length-controlled sampling of strings from regular languages. We provide results on a variety of languages across the Chomsky hierarchy for three neural architectures: a simple RNN, an LSTM, and a causally-masked transformer. We find that the RNN and LSTM often outperform the transformer, and that auxiliary training objectives such as language modeling can help, although no single objective uniformly improves performance across languages and architectures. Our contributions will facilitate theoretically sound empirical testing of language recognition claims in future work. We have released our datasets as a benchmark called FLaRe (Formal Language Recognition), along with our code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google