Neural-Symbolic Recursive Machine for Systematic Generalization

要約

現在の学習モデルは、特に限られたデータから構成ルールを学習し、それらを新しい組み合わせに外挿する際に、人間のような体系的な一般化に苦労することがよくあります。
ニューラルシンボリック再帰マシン (NSR) を導入します。そのコアはグラウンデッド シンボル システム (GSS) であり、トレーニング データから直接組み合わせ構文とセマンティクスを出現させることができます。
NSR は、神経知覚、構文解析、意味論的推論を統合するモジュール設計を採用しています。
これらのコンポーネントは、新しい演繹-アブダクション アルゴリズムを通じて相乗的にトレーニングされます。
私たちの調査結果は、等分散性と構成性の帰納的バイアスが組み込まれた NSR の設計が、多様な配列間のタスクを適切に処理し、比類のない体系的な一般化を達成する表現力を与えることを示しています。
私たちは、体系的な汎化機能を調査するために設計された 4 つの挑戦的なベンチマーク (意味解析の SCAN、文字列操作の PCFG、算術推論の HINT、構成的機械翻訳タスク) にわたって NSR の有効性を評価します。
この結果は、一般化と伝達性の点で、NSR が現代のニューラル モデルやハイブリッド モデルよりも優れていることを裏付けています。

要約(オリジナル)

Current learning models often struggle with human-like systematic generalization, particularly in learning compositional rules from limited data and extrapolating them to novel combinations. We introduce the Neural-Symbolic Recursive Machine (NSR), whose core is a Grounded Symbol System (GSS), allowing for the emergence of combinatorial syntax and semantics directly from training data. The NSR employs a modular design that integrates neural perception, syntactic parsing, and semantic reasoning. These components are synergistically trained through a novel deduction-abduction algorithm. Our findings demonstrate that NSR’s design, imbued with the inductive biases of equivariance and compositionality, grants it the expressiveness to adeptly handle diverse sequence-to-sequence tasks and achieve unparalleled systematic generalization. We evaluate NSR’s efficacy across four challenging benchmarks designed to probe systematic generalization capabilities: SCAN for semantic parsing, PCFG for string manipulation, HINT for arithmetic reasoning, and a compositional machine translation task. The results affirm NSR’s superiority over contemporary neural and hybrid models in terms of generalization and transferability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google