A Neural Lambda Calculus: Neurosymbolic AI meets the foundations of computing and functional programming

要約

タイトル：ニューロシンボリックAIが計算科学と関数型プログラミングの基礎と出会う：ニューラルλ計算

要約：

– 深層ニューラルネットワークモデルが機械学習において主流になってきた。
– 最近では、人工ニューラルネットワークを象徴的学習に使用することが注目されている。
– シンボルAI領域でのニューラルネットワークの可能性を研究するため、深層ニューラルネットワークが数学的構成（加算や乗算）や論理推論（定理証明器）を学習する能力が探求された。
– コンピュータプログラムの実行など、複雑なタスクはニューラルネットワークにとって難しいとされており、アプローチに制限が加えられ、バイアスが含まれることもある。
– 本研究では、プログラムの実行の学習に注目し、宣言型プログラミング言語である{\lambda}-Calculusを使用するアプローチを提案する。
– {\lambda}-Calculusは、現代の関数型プログラミング言語の基礎であり、計算の可算性理論の一部でもあるが、単純でありながらいわゆるチューリング完全である。
– 統合されたニューロン学習とlambda計算の形式化を導入し、{\lambda}-Calculusでプログラムを実行するというアプローチを取ることで、プログラミング言語の複雑な構造による制約を避けることができる。
– 実行は縮退に基づいているため、この縮退を実行する方法を学習することで、任意のプログラムを実行することができる。
– キーワード：機械学習、Lambda Calculus、Neurosymbolic AI、ニューラルネットワーク、トランスフォーマーモデル、シーケンスツーシーケンスモデル、計算モデル。

要約(オリジナル)

Over the last decades, deep neural networks based-models became the dominant paradigm in machine learning. Further, the use of artificial neural networks in symbolic learning has been seen as increasingly relevant recently. To study the capabilities of neural networks in the symbolic AI domain, researchers have explored the ability of deep neural networks to learn mathematical constructions, such as addition and multiplication, logic inference, such as theorem provers, and even the execution of computer programs. The latter is known to be too complex a task for neural networks. Therefore, the results were not always successful, and often required the introduction of biased elements in the learning process, in addition to restricting the scope of possible programs to be executed. In this work, we will analyze the ability of neural networks to learn how to execute programs as a whole. To do so, we propose a different approach. Instead of using an imperative programming language, with complex structures, we use the Lambda Calculus ({\lambda}-Calculus), a simple, but Turing-Complete mathematical formalism, which serves as the basis for modern functional programming languages and is at the heart of computability theory. We will introduce the use of integrated neural learning and lambda calculi formalization. Finally, we explore execution of a program in {\lambda}-Calculus is based on reductions, we will show that it is enough to learn how to perform these reductions so that we can execute any program. Keywords: Machine Learning, Lambda Calculus, Neurosymbolic AI, Neural Networks, Transformer Model, Sequence-to-Sequence Models, Computational Models

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI