Language Models Represent Space and Time

要約

大規模言語モデル(LLM)の性能は、そのようなシステムが単に表面的な統計の膨大なコレクションを学習するのか、それともデータ生成プロセスの首尾一貫したモデル–世界モデル–を学習するのかという議論を巻き起こしている。我々は、Llama-2ファミリーのモデルにおいて、3つの空間データセット（世界、アメリカ、ニューヨークの地名）と3つの時間データセット（歴史上の人物、芸術作品、ニュースの見出し）の学習表現を分析することで、後者の証拠を発見した。我々は、LLMが複数のスケールにわたる空間と時間の線形表現を学習することを発見した。これらの表現は、プロンプトのバリエーションに強く、異なるエンティティタイプ（都市やランドマークなど）で統一されている。さらに、空間座標と時間座標を確実に符号化する個々の「空間ニューロン」と「時間ニューロン」を同定した。我々の分析は、現代のLLMが空間や時間といった基本的な次元に関する構造化された知識を獲得していることを示しており、LLMが単なる表面的な統計学ではなく、文字通りの世界モデルを学習しているという見方を支持している。

要約(オリジナル)

The capabilities of large language models (LLMs) have sparked debate over whether such systems just learn an enormous collection of superficial statistics or a coherent model of the data generating process — a world model. We find evidence for the latter by analyzing the learned representations of three spatial datasets (world, US, NYC places) and three temporal datasets (historical figures, artworks, news headlines) in the Llama-2 family of models. We discover that LLMs learn linear representations of space and time across multiple scales. These representations are robust to prompting variations and unified across different entity types (e.g. cities and landmarks). In addition, we identify individual “space neurons” and “time neurons” that reliably encode spatial and temporal coordinates. Our analysis demonstrates that modern LLMs acquire structured knowledge about fundamental dimensions such as space and time, supporting the view that they learn not merely superficial statistics, but literal world models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL