Automata Cascades: Expressivity and Sample Complexity

要約

すべてのオートマトンは、基本素数オートマトンのカスケードに分解することができる。これがKrohnとRhodesによる「素数分解定理」である。この理論に導かれ、我々は、オートマトンを、それぞれが特定の機能を実装した多くのコンポーネントからなる複雑なシステムとして、構造化、モジュール化して記述する方法として、オートマトンカスケードを提案する。どのようなオートマトンでもコンポーネントとして機能させることができる。特定のコンポーネントを使用することで、結果として得られるオートマトンのクラスの表現力を細かく制御することができ、プライムオートマトンをコンポーネントとして使用すると、特定の表現力を保証することができる。さらに、オートマトンをカスケードとして指定することで、オートマトンのサンプル複雑度をその構成要素で記述することができる。我々は、サンプル複雑度が構成要素の数と単一構成要素の最大複雑度に線形であり、対数的な因子を持つことを示す。このことは、互いに相互作用する多くの部分からなる大規模な力学系を表すオートマトンを学習する可能性を開くものである。このことは、オートマトンのサンプル複雑度について、状態や入力文字の総数で説明され、状態数が利用可能なデータ量に対して線形であるオートマトンしか学習できないことを意味する、従来の理解とは対照的である。しかし、我々の結果は、利用可能なデータ量に対して指数関数的な状態数を持つオートマトンの学習が可能であることを示している。

要約(オリジナル)

Every automaton can be decomposed into a cascade of basic prime automata. This is the Prime Decomposition Theorem by Krohn and Rhodes. Guided by this theory, we propose automata cascades as a structured, modular, way to describe automata as complex systems made of many components, each implementing a specific functionality. Any automaton can serve as a component; using specific components allows for a fine-grained control of the expressivity of the resulting class of automata; using prime automata as components implies specific expressivity guarantees. Moreover, specifying automata as cascades allows for describing the sample complexity of automata in terms of their components. We show that the sample complexity is linear in the number of components and the maximum complexity of a single component, modulo logarithmic factors. This opens to the possibility of learning automata representing large dynamical systems consisting of many parts interacting with each other. It is in sharp contrast with the established understanding of the sample complexity of automata, described in terms of the overall number of states and input letters, which implies that it is only possible to learn automata where the number of states is linear in the amount of data available. Instead our results show that one can learn automata with a number of states that is exponential in the amount of data available.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL