Sphere Neural-Networks for Rational Reasoning

要約

ChatGPT などの大規模言語モデル (LLM) の成功は、その世界的な人気、人間のような質問応答の能力、そして着実に向上した推論パフォーマンスによって証明されています。
ただし、LLM が推論するかどうかは不明のままです。
従来のニューラル ネットワークをどのように定性的に拡張して、統計パラダイムを超えて高度な認知を達成できるかは未解決の問題です。
ここでは、ベクトルから球までの計算ビルディング ブロックを一般化することにより、最小限の定性的拡張を提示します。
私たちは、モデルの構築と検査を通じて人間らしい推論を実現するための Sphere Neural Networks (SphNN) を提案し、人間の合理性の縮図である三段論的推論のための SphNN を開発します。
SphNN は、トレーニング データの代わりに、近傍の空間関係の神経記号遷移マップを使用して、現在の球体構成からターゲットに向かう変換をガイドします。
SphNN は、O(N^2) という最悪の計算量で球の構成をオイラー図として構築することにより、ある時代に長鎖三段論的推論の妥当性を判定できる最初のニューラル モデルです。
SphNN は、時空間推論、否定と選言による論理的推論、出来事推論、神経記号的推論、ユーモア理解 (最高レベルの認知) など、さまざまなタイプの推論に進化できます。
これらすべては、2 つの神経ブレードを備えた新しい種類のハーバート A. サイモンのハサミを示唆しています。
SphNN は、2 つのニューラル ブレードを開発するための学際的なコラボレーションを大幅に強化し、決定論的な神経推論と人間限定の合理性を実現し、LLM を信頼できる心理 AI に引き上げます。
この研究は、球の非ゼロ半径が、従来の深層学習システムが合理的推論の領域に到達することを妨げ、LLM を幻覚の沼に閉じ込める原因となる欠落したコンポーネントであることを示唆しています。

要約(オリジナル)

The success of Large Language Models (LLMs), e.g., ChatGPT, is witnessed by their planetary popularity, their capability of human-like question-answering, and also by their steadily improved reasoning performance. However, it remains unclear whether LLMs reason. It is an open problem how traditional neural networks can be qualitatively extended to go beyond the statistic paradigm and achieve high-level cognition. Here, we present a minimalist qualitative extension by generalising computational building blocks from vectors to spheres. We propose Sphere Neural Networks (SphNNs) for human-like reasoning through model construction and inspection, and develop SphNN for syllogistic reasoning, a microcosm of human rationality. Instead of training data, SphNN uses a neuro-symbolic transition map of neighbourhood spatial relations to guide transformations from the current sphere configuration towards the target. SphNN is the first neural model that can determine the validity of long-chained syllogistic reasoning in one epoch by constructing sphere configurations as Euler diagrams, with the worst computational complexity of O(N^2). SphNN can evolve into various types of reasoning, such as spatio-temporal reasoning, logical reasoning with negation and disjunction, event reasoning, neuro-symbolic reasoning, and humour understanding (the highest level of cognition). All these suggest a new kind of Herbert A. Simon’s scissors with two neural blades. SphNNs will tremendously enhance interdisciplinary collaborations to develop the two neural blades and realise deterministic neural reasoning and human-bounded rationality and elevate LLMs to reliable psychological AI. This work suggests that the non-zero radii of spheres are the missing components that prevent traditional deep-learning systems from reaching the realm of rational reasoning and cause LLMs to be trapped in the swamp of hallucination.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google