Sphere Neural-Networks for Rational Reasoning

要約

大規模な言語モデル（LLMS）、たとえばChatGptの成功は、惑星の人気、人間のようなコミュニケーションの能力、そして着実に改善された推論パフォーマンスによって目撃されます。
ただし、LLMSが理由であるかどうかは不明のままです。
従来のニューラルネットワークを定性的に拡張して、統計パラダイムを超えて高レベルの認知を達成することができることは、オープンな問題です。
ここでは、ベクトルから球体までの計算ビルディングブロックを一般化することにより、新しい定性的拡張を提示します。
モデルの構築と検査を通じて人間のような推論のために球体ニューラルネットワーク（SPHNNS）を提案し、人間の合理性の縮図である三段論法の推論のためにSPHNNを開発します。
Sphnnは、階層的な神経腫瘍コルモゴロフ・アーノルド幾何学GNNであり、近隣の空間関係の神経反体系遷移マップを使用して、現在の球体構成をターゲットに変換します。
Sphnnは、O（n）の最悪の計算の複雑さを伴う、トレーニングデータなしで1つのエポックで長期にわたる三段論法の推論の妥当性を決定できる最初のニューラルモデルです。
Sphnnは、時空間の推論、否定と分離による論理的推論、出来事の推論、神経反応統一、ユーモアの理解（認知の最高レベル）など、さまざまなタイプの推論に進化することができます。
これらはすべて、2つのニューラルブレードを備えた新しい種類のハーバートA.サイモンのハサミを示唆しています。
Sphnnsは、学際的なコラボレーションを大幅に強化して、2つの神経ブレードを開発し、決定論的な神経の推論と人間に結合した合理性を実現し、LLMを信頼できる心理的AIに高めます。
この研究は、球体の非ゼロ半径が、従来の深部学習システムが合理的な推論の領域に到達するのを妨げ、LLMが幻覚の沼地に閉じ込められることを妨げる不足しているコンポーネントであることを示唆しています。

要約(オリジナル)

The success of Large Language Models (LLMs), e.g., ChatGPT, is witnessed by their planetary popularity, their capability of human-like communication, and also by their steadily improved reasoning performance. However, it remains unclear whether LLMs reason. It is an open problem how traditional neural networks can be qualitatively extended to go beyond the statistic paradigm and achieve high-level cognition. Here, we present a novel qualitative extension by generalising computational building blocks from vectors to spheres. We propose Sphere Neural Networks (SphNNs) for human-like reasoning through model construction and inspection, and develop SphNN for syllogistic reasoning, a microcosm of human rationality. SphNN is a hierarchical neuro-symbolic Kolmogorov-Arnold geometric GNN, and uses a neuro-symbolic transition map of neighbourhood spatial relations to transform the current sphere configuration towards the target. SphNN is the first neural model that can determine the validity of long-chained syllogistic reasoning in one epoch without training data, with the worst computational complexity of O(N). SphNN can evolve into various types of reasoning, such as spatio-temporal reasoning, logical reasoning with negation and disjunction, event reasoning, neuro-symbolic unification, and humour understanding (the highest level of cognition). All these suggest a new kind of Herbert A. Simon’s scissors with two neural blades. SphNNs will tremendously enhance interdisciplinary collaborations to develop the two neural blades and realise deterministic neural reasoning and human-bounded rationality and elevate LLMs to reliable psychological AI. This work suggests that the non-zero radii of spheres are the missing components that prevent traditional deep-learning systems from reaching the realm of rational reasoning and cause LLMs to be trapped in the swamp of hallucination.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google