Causal World Representation in the GPT Model

要約

生成事前トレーニング済みトランスフォーマー (GPT) モデルは次のトークンを予測するためにのみトレーニングされているのでしょうか、それともシーケンスが一度に 1 つずつトークンを生成するワールド モデルを暗黙的に学習しているのでしょうか?
我々は、GPT における注意メカニズムの因果的解釈を導き出し、この解釈から生じる因果的世界モデルを提案することによって、この疑問を検討します。
さらに、GPT モデルは、推論時に、分布内シーケンスのゼロショット因果構造学習に利用できることを提案します。
実証的評価は、オセロ ボード ゲームの設定とルールを使用して、制御された合成環境で実行されます。
GPT は、勝つことを目的としてプレイされる現実世界のゲームで事前トレーニングされ、ゲームのルールのみに準拠した合成データでテストされます。
GPT モデルは、注意メカニズムが高い信頼度で因果構造をコード化するシーケンスのゲーム ルールに従う次の手を生成する傾向があることがわかりました。
一般に、GPT モデルがゲーム ルールに従わない手を生成する場合、因果構造を捉えることもできません。

要約(オリジナル)

Are generative pre-trained transformer (GPT) models only trained to predict the next token, or do they implicitly learn a world model from which a sequence is generated one token at a time? We examine this question by deriving a causal interpretation of the attention mechanism in GPT, and suggesting a causal world model that arises from this interpretation. Furthermore, we propose that GPT-models, at inference time, can be utilized for zero-shot causal structure learning for in-distribution sequences. Empirical evaluation is conducted in a controlled synthetic environment using the setup and rules of the Othello board game. A GPT, pre-trained on real-world games played with the intention of winning, is tested on synthetic data that only adheres to the game rules. We find that the GPT model tends to generate next moves that adhere to the game rules for sequences for which the attention mechanism encodes a causal structure with high confidence. In general, in cases for which the GPT model generates moves that do not adhere to the game rules, it also fails to capture any causal structure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google