Towards an Understanding of Stepwise Inference in Transformers: A Synthetic Graph Navigation Model

要約

スクラッチパッドや思考連鎖などの段階的推論プロトコルは、言語モデルが複雑な問題を一連の単純な部分問題に分解することで解決するのに役立ちます。
これらのプロトコルによってパフォーマンスが大幅に向上したにもかかわらず、段階的推論の基礎となるメカニズムは依然として解明されていません。
これに対処するために、一般に段階的推論が最も役立つ問題の複数ステップの性質を具体化する合成タスクで自己回帰 Transformer モデルを研究することを提案します。
具体的には、モデルがグラフ上の開始ノードから終了ノードまでのパスを横断するタスクを負うグラフ ナビゲーション問題を定義します。
単純さにもかかわらず、大規模に観察されたいくつかの現象を経験的に再現して分析できることがわかりました。(i) 段階的推論のギャップ。その原因はトレーニング データの構造にあります。
(ii) サンプリング温度の変化に伴うモデル生成における多様性と精度のトレードオフ。
(iii) モデルの出力における単純性バイアス。
(iv) 文脈内の模範による構成的一般化と優位性バイアス。
全体として、私たちの研究は、段階的推論を研究するための根拠のある総合的なフレームワークを導入し、この現象をより深く理解するための基礎を築くことができるメカニズムの仮説を提供します。

要約(オリジナル)

Stepwise inference protocols, such as scratchpads and chain-of-thought, help language models solve complex problems by decomposing them into a sequence of simpler subproblems. Despite the significant gain in performance achieved via these protocols, the underlying mechanisms of stepwise inference have remained elusive. To address this, we propose to study autoregressive Transformer models on a synthetic task that embodies the multi-step nature of problems where stepwise inference is generally most useful. Specifically, we define a graph navigation problem wherein a model is tasked with traversing a path from a start to a goal node on the graph. Despite is simplicity, we find we can empirically reproduce and analyze several phenomena observed at scale: (i) the stepwise inference reasoning gap, the cause of which we find in the structure of the training data; (ii) a diversity-accuracy tradeoff in model generations as sampling temperature varies; (iii) a simplicity bias in the model’s output; and (iv) compositional generalization and a primacy bias with in-context exemplars. Overall, our work introduces a grounded, synthetic framework for studying stepwise inference and offers mechanistic hypotheses that can lay the foundation for a deeper understanding of this phenomenon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google