A Complexity-Based Theory of Compositionality

要約

構成性は知能の基礎であると考えられています。
人間の場合、それは思考、言語、および高次の推論の構造の基礎となります。
AI では、構成表現により、モデルが既知の概念の新しい組み合わせに体系的に適応する、強力な形式の分布外一般化が可能になります。
しかし、私たちは構成性が何であるかについて強い直観を持っていますが、現時点では、測定可能で数学的な正式な定義は存在しません。
ここで、私たちは、構成性についての直観を説明し拡張する、表現的構成性と呼ぶそのような定義を提案します。
この定義は概念的に単純かつ定量的で、アルゴリズム情報理論に基づいており、あらゆる表現に適用できます。
直観的には、表現的構成性は、構成的表現が 3 つの特性を満たすことを示します。
まず、表現力が豊かでなければなりません。
第 2 に、自然言語の文と同様に、再結合可能な部分を備えた個別の記号シーケンスの関数として表現を再記述できなければなりません。
第三に、自然言語の意味論に似た、これらの記号シーケンスを表現に関連付ける機能は単純でなければなりません。
合成データと実世界データの両方での実験を通じて、構成性の定義を検証し、それが AI と認知科学の両方の文献にわたる異なる直感をどのように統合するかを示します。
また、表現的構成性は理論的には困難ですが、標準的な深層学習ツールを使用して容易に推定できることも示します。
私たちの定義は、構成的思考のメカニズムをより適切に捉える、理論に基づいた新しいモデルの設計にインスピレーションを与える可能性を秘めています。

要約(オリジナル)

Compositionality is believed to be fundamental to intelligence. In humans, it underlies the structure of thought, language, and higher-level reasoning. In AI, compositional representations can enable a powerful form of out-of-distribution generalization, in which a model systematically adapts to novel combinations of known concepts. However, while we have strong intuitions about what compositionality is, there currently exists no formal definition for it that is measurable and mathematical. Here, we propose such a definition, which we call representational compositionality, that accounts for and extends our intuitions about compositionality. The definition is conceptually simple, quantitative, grounded in algorithmic information theory, and applicable to any representation. Intuitively, representational compositionality states that a compositional representation satisfies three properties. First, it must be expressive. Second, it must be possible to re-describe the representation as a function of discrete symbolic sequences with re-combinable parts, analogous to sentences in natural language. Third, the function that relates these symbolic sequences to the representation, analogous to semantics in natural language, must be simple. Through experiments on both synthetic and real world data, we validate our definition of compositionality and show how it unifies disparate intuitions from across the literature in both AI and cognitive science. We also show that representational compositionality, while theoretically intractable, can be readily estimated using standard deep learning tools. Our definition has the potential to inspire the design of novel, theoretically-driven models that better capture the mechanisms of compositional thought.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google