Neural-Symbolic Recursive Machine for Systematic Generalization

要約

既存の機械学習モデルは、多大な成功にもかかわらず、人間のような体系的な汎化–限られたデータから構成規則を学習し、様々な領域で未知の組み合わせに適用すること–にはまだ及ばない。我々はこの欠点に取り組むために、Neural-Symbolic Recursive Machine (NSR)を提案する。NSRの中核となる表現は、組合せ的な構文と意味論を持つ接地された記号系（GSS）であり、学習データから完全に創発される。NSRは神経科学の研究により、知覚、構文解析、意味解析に別々の脳システムを持つことが示唆されているのと同様に、神経知覚、構文解析、意味解析の別々のモジュールを実装し、それらは演繹-帰納アルゴリズムにより共同で学習される。我々は、NSRが様々なシーケンスからシーケンスへのタスクをモデル化するのに十分な表現力を持つことを証明する。NSRに組み込まれた等価性と再帰性という帰納的バイアスにより、優れた系統的汎化が達成される。実験では、NSRは異なる領域からの3つのベンチマークにおいて、最先端の性能を達成した。すなわち、意味解析のSCAN、文字列操作のPCFG、算術推論のHINTである。具体的には、NSRはSCANとPCFGにおいて100%の汎化精度を達成し、HINTにおいて約23%の汎化精度を達成する。NSRは、記号表現と帰納的バイアスにより、純粋なニューラルネットワークよりも強い汎化能力を示す。また、NSRは既存のニューラル・シンボリックアプローチと比較して、ドメイン固有の知識を必要としないため、より優れた移植性を示しています。

要約(オリジナル)

Despite the tremendous success, existing machine learning models still fall short of human-like systematic generalization — learning compositional rules from limited data and applying them to unseen combinations in various domains. We propose Neural-Symbolic Recursive Machine (NSR) to tackle this deficiency. The core representation of NSR is a Grounded Symbol System (GSS) with combinatorial syntax and semantics, which entirely emerges from training data. Akin to the neuroscience studies suggesting separate brain systems for perceptual, syntactic, and semantic processing, NSR implements analogous separate modules of neural perception, syntactic parsing, and semantic reasoning, which are jointly learned by a deduction-abduction algorithm. We prove that NSR is expressive enough to model various sequence-to-sequence tasks. Superior systematic generalization is achieved via the inductive biases of equivariance and recursiveness embedded in NSR. In experiments, NSR achieves state-of-the-art performance in three benchmarks from different domains: SCAN for semantic parsing, PCFG for string manipulation, and HINT for arithmetic reasoning. Specifically, NSR achieves 100% generalization accuracy on SCAN and PCFG and outperforms state-of-the-art models on HINT by about 23%. Our NSR demonstrates stronger generalization than pure neural networks due to its symbolic representation and inductive biases. NSR also demonstrates better transferability than existing neural-symbolic approaches due to less domain-specific knowledge required.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL