MLRegTest: A Benchmark for the Machine Learning of Regular Languages

要約

タイトル：MLRegTest：正規言語の機械学習のためのベンチマーク

要約：

– 既知の分類器を学習することで、機械学習（ML）システムの能力を評価することができ、未知の分類器の学習に適用する際に信頼性を高めることができます。
– 本論文では、MLシステムのための新しいシーケンス分類のベンチマークであるMLRegTestを紹介しています。1,800の正規言語を含むトレーニング、開発、およびテストセットが含まれています。
– 異なる種類の形式言語には、異なる種類の長距離依存があり、シーケンスの長距離依存を正しく識別することはMLシステムが正常に一般化するための課題である。
– MLRegTestは、論理的複雑性（モナディック2次、1次、命題、または単項式式）および論理リテラルの種類（文字、階層文字、部分列、またはそれらの組み合わせ）に沿って言語を整理します。論理の複雑さとリテラルの選択は、正規言語の異なる種類の長距離依存を理解するための体系的な方法を提供し、それによって異なるMLシステムの容量を理解することができます。
– 最後に、異なるニューラルネットワーク（単純なRNN、LSTM、GRU、トランスフォーマー）のMLRegTestのパフォーマンスが調査されます。主な結論は、彼らのパフォーマンスは、テストセットの種類、言語のクラス、およびニューラルネットワークアーキテクチャによって大きく異なるということです。

要約(オリジナル)

Evaluating machine learning (ML) systems on their ability to learn known classifiers allows fine-grained examination of the patterns they can learn, which builds confidence when they are applied to the learning of unknown classifiers. This article presents a new benchmark for ML systems on sequence classification called MLRegTest, which contains training, development, and test sets from 1,800 regular languages. Different kinds of formal languages represent different kinds of long-distance dependencies, and correctly identifying long-distance dependencies in sequences is a known challenge for ML systems to generalize successfully. MLRegTest organizes its languages according to their logical complexity (monadic second order, first order, propositional, or monomial expressions) and the kind of logical literals (string, tier-string, subsequence, or combinations thereof). The logical complexity and choice of literal provides a systematic way to understand different kinds of long-distance dependencies in regular languages, and therefore to understand the capacities of different ML systems to learn such long-distance dependencies. Finally, the performance of different neural networks (simple RNN, LSTM, GRU, transformer) on MLRegTest is examined. The main conclusion is that their performance depends significantly on the kind of test set, the class of language, and the neural network architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI