The Road to Generalizable Neuro-Symbolic Learning Should be Paved with Foundation Models

要約

ニューロシンボリック学習は、解釈可能性、信頼性、効率の追加の利点を備えた複雑な推論タスクのために、ニューラルネットワークをトレーニングする課題に対処するために提案されました。
ニューロシンボリック学習方法は、伝統的に象徴的なプログラムと連携してニューラルモデルを訓練していましたが、単純な問題に制限する重要な課題に直面しています。
一方、純粋に神経質な基礎モデルは、トレーニングではなくプロンプトを通じて最先端のパフォーマンスに到達しましたが、しばしば信頼できず、解釈性が欠けています。
私たちがニューロ・シンボリックプロンプトと呼ぶシンボリックプログラムで基礎モデルを補充することは、複雑な推論タスクにこれらのモデルを使用する方法を提供します。
そうすることで疑問が提起されます。神経協力学習の一部としての専門的なモデルトレーニングは、基礎モデルの時代にどのような役割を果たしていますか？
この質問を調査するために、一般化の問題につながる計算、データ、およびプログラムに関して、伝統的な神経 – 神経調節学習の3つの落とし穴を強調します。
このポジションペーパーでは、基礎モデルは一般化可能な神経腫瘍ソリューションを可能にし、トレーニングのマイナス面なしで神経免疫学習の元の目標を達成するための道を提供すると主張しています。

要約(オリジナル)

Neuro-symbolic learning was proposed to address challenges with training neural networks for complex reasoning tasks with the added benefits of interpretability, reliability, and efficiency. Neuro-symbolic learning methods traditionally train neural models in conjunction with symbolic programs, but they face significant challenges that limit them to simplistic problems. On the other hand, purely-neural foundation models now reach state-of-the-art performance through prompting rather than training, but they are often unreliable and lack interpretability. Supplementing foundation models with symbolic programs, which we call neuro-symbolic prompting, provides a way to use these models for complex reasoning tasks. Doing so raises the question: What role does specialized model training as part of neuro-symbolic learning have in the age of foundation models? To explore this question, we highlight three pitfalls of traditional neuro-symbolic learning with respect to the compute, data, and programs leading to generalization problems. This position paper argues that foundation models enable generalizable neuro-symbolic solutions, offering a path towards achieving the original goals of neuro-symbolic learning without the downsides of training from scratch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google