Is the Reversal Curse a Binding Problem? Uncovering Limitations of Transformers from a Basic Generalization Failure

要約

それらの印象的な能力にもかかわらず、LLMは逆転呪いとして知られる基本的な一般化障害を示し、そこでは可逆的な事実の関連を学ぶのに苦労しています。
これが発生する理由を理解することで、現在のモデルの弱点を特定し、一般化と堅牢性を向上させることができます。
この論文では、LLMSの逆転呪いは、認知科学、神経科学、AIにおける長年の結合問題の現れであると推測します。
具体的には、概念の結合における変圧器の制限に起因する反転呪いの2つの主要な原因を特定します。概念表現の矛盾と絡み合いです。
これらの推測を​​サポートする一連の実験を実行します。
私たちの探査は、JEPA（共同埋め込み予測アーキテクチャ）に基づくモデル設計につながり、初めて特殊なデータの増強または非因果マスキングでサイドステップすることなく逆転の呪いを破り、さらに、一般化をさらに改善することができます。
逆転のスキルは、モデルがパラメトリックな前方チェーンを介して大規模な算術推論の問題を解決できるようにする新しい種類のメモリ統合を解き放つことを実証します。

要約(オリジナル)

Despite their impressive capabilities, LLMs exhibit a basic generalization failure known as the Reversal Curse, where they struggle to learn reversible factual associations. Understanding why this occurs could help identify weaknesses in current models and advance their generalization and robustness. In this paper, we conjecture that the Reversal Curse in LLMs is a manifestation of the long-standing binding problem in cognitive science, neuroscience and AI. Specifically, we identify two primary causes of the Reversal Curse stemming from transformers’ limitations in conceptual binding: the inconsistency and entanglements of concept representations. We perform a series of experiments that support these conjectures. Our exploration leads to a model design based on JEPA (Joint-Embedding Predictive Architecture) that for the first time breaks the Reversal Curse without side-stepping it with specialized data augmentation or non-causal masking, and moreover, generalization could be further improved by incorporating special memory layers that support disentangled concept representations. We demonstrate that the skill of reversal unlocks a new kind of memory integration that enables models to solve large-scale arithmetic reasoning problems via parametric forward-chaining, outperforming frontier LLMs based on non-parametric memory and prolonged explicit reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google