A Neural Rewriting System to Solve Algorithmic Problems

要約

最新のニューラル ネットワーク アーキテクチャは、分布外の問題インスタンスを解決するために構成ルールを体系的に適用する必要があるアルゴリズム手順を学習するのに依然として苦労しています。
この研究では、ニューラル アーキテクチャの体系的な一般化機能を研究するために使用される合成ベンチマークの一種である数式単純化問題に焦点を当てます。
私たちは、最小限のトレーニング例のみに依存して、入れ子になった数式を解くための一般的な手順を学習するように設計されたモジュール式アーキテクチャを提案します。
シンボリック人工知能の古典的なフレームワークである書き換えシステムからインスピレーションを得て、私たちはアーキテクチャに 3 つの特化された相互作用するモジュールを組み込みました。
ソルバー、部分式をその値にマッピングします。
コンバイナーは、元の式の部分式をソルバーが提供する解に置き換えます。
私たちは、体系的な一般化に特化した最近のモデルである Neural Data Router と、高度なプロンプト戦略で精査された最先端の大規模言語モデル (GPT-4) に対してシステムのベンチマークを行います。
我々のアプローチは、3 つの異なるタイプの数式簡略化問題に関して、これらの代替アプローチと比較して、より高度な分布外一般化を達成することを実証し、その失敗を分析することによってその限界について議論します。

要約(オリジナル)

Modern neural network architectures still struggle to learn algorithmic procedures that require to systematically apply compositional rules to solve out-of-distribution problem instances. In this work, we focus on formula simplification problems, a class of synthetic benchmarks used to study the systematic generalization capabilities of neural architectures. We propose a modular architecture designed to learn a general procedure for solving nested mathematical formulas by only relying on a minimal set of training examples. Inspired by rewriting systems, a classic framework in symbolic artificial intelligence, we include in the architecture three specialized and interacting modules: the Selector, trained to identify solvable sub-expressions; the Solver, mapping sub-expressions to their values; and the Combiner, replacing sub-expressions in the original formula with the solution provided by the Solver. We benchmark our system against the Neural Data Router, a recent model specialized for systematic generalization, and a state-of-the-art large language model (GPT-4) probed with advanced prompting strategies. We demonstrate that our approach achieves a higher degree of out-of-distribution generalization compared to these alternative approaches on three different types of formula simplification problems, and we discuss its limitations by analyzing its failures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google