Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers

要約

トランスフォーマーは多数のNLPタスクで大きな成功を収めていますが、特に実際の知識がまばらである場合、多段階の事実上の推論で顕著なギャップを示し続けています。
グローキングの最近の進歩は、神経ネットワークが基礎となる論理パターンを検出すると、記憶から完全な一般化に移行できることを実証していますが、これらの研究は主に小さな合成タスクを使用しています。
この論文では、初めて、グローキングを実際の事実データに拡張し、既存の知識グラフを慎重に設計した合成データで既存の知識グラフを増強することにより、グローキングに必要な原子事実と推定された事実の比率$ \ phi_r $を上昇させることにより、データセットスパースの課題に対処します。
驚くべきことに、事実に誤った合成データでさえ、モデルが暗記ではなくリレーショナル構造に依存するように強制するため、精度を低下させるのではなく、緊急の推論回路を強化できることがわかります。
マルチホップ推論ベンチマークで評価されると、私たちのアプローチは2Wikimultihopqaで最大95〜100％の精度を達成します。
さらに、$ \ phi_r $の増加が変圧器内の一般化回路の形成をどのように駆動するかについての詳細な分析を提供します。
私たちの調査結果は、グローキングベースのデータ増強が暗黙のマルチホップ推論機能のロックを解除し、大規模な言語モデルにおけるより堅牢で解釈可能な事実上の推論への扉を開くことができることを示唆しています。

要約(オリジナル)

Transformers have achieved great success in numerous NLP tasks but continue to exhibit notable gaps in multi-step factual reasoning, especially when real-world knowledge is sparse. Recent advances in grokking have demonstrated that neural networks can transition from memorizing to perfectly generalizing once they detect underlying logical patterns – yet these studies have primarily used small, synthetic tasks. In this paper, for the first time, we extend grokking to real-world factual data and address the challenge of dataset sparsity by augmenting existing knowledge graphs with carefully designed synthetic data to raise the ratio $\phi_r$ of inferred facts to atomic facts above the threshold required for grokking. Surprisingly, we find that even factually incorrect synthetic data can strengthen emergent reasoning circuits rather than degrade accuracy, as it forces the model to rely on relational structure rather than memorization. When evaluated on multi-hop reasoning benchmarks, our approach achieves up to 95-100% accuracy on 2WikiMultiHopQA – substantially improving over strong baselines and matching or exceeding current state-of-the-art results. We further provide an in-depth analysis of how increasing $\phi_r$ drives the formation of generalizing circuits inside Transformers. Our findings suggest that grokking-based data augmentation can unlock implicit multi-hop reasoning capabilities, opening the door to more robust and interpretable factual reasoning in large-scale language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google