Training Neural Networks as Recognizers of Formal Languages

要約

形式言語理論の観点からニューラル ネットワーク アーキテクチャの計算能力を特徴付けることは、現代の AI の推論能力の下限と上限を説明するため、引き続き重要な研究分野です。
ただし、これらの限界を経験的にテストする場合、既存の研究では、実験とそれがサポートすることを意図した正式な主張との間に矛盾が残ることがよくあります。
問題は、形式言語理論が特に認識装置、つまり文字列を入力として受け取り、それが言語に属するかどうかを分類する機械に関係していることです。
一方、言語モデリングやシーケンス間の変換など、非公式な意味でのみ類似するプロキシ タスクを代わりに使用するのが一般的です。
私たちは、さまざまな言語に適用できる一般的な方法を使用して、ニューラル ネットワークを文字列のバイナリ分類子として直接トレーニングおよび評価することで、この不一致を修正します。
この一環として、Sn{\ae}bjarnarson らによって最近提案されたアルゴリズムを拡張します。
(2024) 以前の方法よりもはるかに優れた漸近時間計算量で、通常の言語からの文字列の長さ制御されたサンプリングを実行します。
シンプルな RNN、LSTM、および因果的にマスクされたトランスフォーマーという 3 つのニューラル アーキテクチャのチョムスキー階層にわたるさまざまな言語に関する結果を提供します。
RNN と LSTM は多くの場合、トランスフォーマーよりも優れたパフォーマンスを示し、言語モデリングなどの補助的なトレーニング目標が役立つことがわかりましたが、言語やアーキテクチャ全体でパフォーマンスを均一に向上させる単一の目標はありません。
私たちの貢献は、将来の研究において言語認識主張の理論的に健全な実証的テストを促進するでしょう。
FLaRe (Formal Language Recognition) と呼ばれるベンチマークとしてデータセットをコードとともにリリースしました。

要約(オリジナル)

Characterizing the computational power of neural network architectures in terms of formal language theory remains a crucial line of research, as it describes lower and upper bounds on the reasoning capabilities of modern AI. However, when empirically testing these bounds, existing work often leaves a discrepancy between experiments and the formal claims they are meant to support. The problem is that formal language theory pertains specifically to recognizers: machines that receive a string as input and classify whether it belongs to a language. On the other hand, it is common to instead use proxy tasks that are similar in only an informal sense, such as language modeling or sequence-to-sequence transduction. We correct this mismatch by training and evaluating neural networks directly as binary classifiers of strings, using a general method that can be applied to a wide variety of languages. As part of this, we extend an algorithm recently proposed by Sn{\ae}bjarnarson et al. (2024) to do length-controlled sampling of strings from regular languages, with much better asymptotic time complexity than previous methods. We provide results on a variety of languages across the Chomsky hierarchy for three neural architectures: a simple RNN, an LSTM, and a causally-masked transformer. We find that the RNN and LSTM often outperform the transformer, and that auxiliary training objectives such as language modeling can help, although no single objective uniformly improves performance across languages and architectures. Our contributions will facilitate theoretically sound empirical testing of language recognition claims in future work. We have released our datasets as a benchmark called FLaRe (Formal Language Recognition), along with our code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google