Language Models Implement Simple Word2Vec-style Vector Arithmetic

要約

言語モデル（LM）に対する主な批判は、その不可解さである。本論文では、そのサイズと複雑さにもかかわらず、LMが単純なベクトル算術スタイルのメカニズムを利用して、モデルの隠れた空間にエンコードされた規則性（例えば、ポーランド：ワルシャワ：：中国：北京）を利用して、いくつかの関係タスクを解くことがあるという証拠を示す。我々は、様々な言語モデルサイズ（124Mパラメータから176Bパラメータまで）をインコンテキスト学習設定で調査し、様々なタスク（首都、大文字、過去形など）において、メカニズムの主要部分が、フィードフォワード（FFN）ネットワークで一般的に適用される単純な加算更新に軽減されることを発見した。さらに、このメカニズムは、局所的文脈からの検索ではなく、事前学習記憶からの検索を必要とするタスクに特有であることを示す。我々の結果は、LMの解釈可能性に関する研究の増加に貢献し、LMの巨大で非線形な性質にもかかわらず、LMが最終的にタスクを解決するために使用する戦略は、時に馴染みのある、直感的なアルゴリズムに還元できるという楽観的な理由を提供する。

要約(オリジナル)

A primary criticism towards language models (LMs) is their inscrutability. This paper presents evidence that, despite their size and complexity, LMs sometimes exploit a simple vector arithmetic style mechanism to solve some relational tasks using regularities encoded in the hidden space of the model (e.g., Poland:Warsaw::China:Beijing). We investigate a range of language model sizes (from 124M parameters to 176B parameters) in an in-context learning setting, and find that for a variety of tasks (involving capital cities, uppercasing, and past-tensing) a key part of the mechanism reduces to a simple additive update typically applied by the feedforward (FFN) networks. We further show that this mechanism is specific to tasks that require retrieval from pretraining memory, rather than retrieval from local context. Our results contribute to a growing body of work on the interpretability of LMs, and offer reason to be optimistic that, despite the massive and non-linear nature of the models, the strategies they ultimately use to solve tasks can sometimes reduce to familiar and even intuitive algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL