Evidence of Meaning in Language Models Trained on Programs

要約

我々は、言語モデルがテキスト、特にプログラムのコーパスに対して次のトークン予測を実行するためだけに訓練されているにもかかわらず、意味を学習できるという証拠を提示します。
各プログラムの前に、(テキストの) 入出力例の形式で仕様が記載されています。
プログラムを使用すると、言語の意味に関連する概念 (正確性や意味論など) を正確に定義できるため、プログラム合成は、言語モデルにおける意味の有無を特徴付けるための中間テストベッドとして適しています。
まず、プログラムのコーパス上で Transformer モデルをトレーニングし、次に、仕様が与えられたプログラムを完成させる際に、トレーニングされたモデルの隠れ状態を調査します。
言語のセマンティクスの学習に対して帰納的なバイアスを提供しないにもかかわらず、線形プローブはモデル状態から現在および将来のプログラム状態の両方の抽象化を抽出できることがわかります。
さらに、プローブの精度と、仕様を実装するプログラムを生成するモデルの能力との間には、統計的に有意な強い相関関係があります。
セマンティクスがプローブによって学習されるのではなくモデル状態で表現されるかどうかを評価するために、用語集と構文を維持しながら言語のセマンティクスに介入する新しい実験手順を設計します。
また、モデルがトレーニング セット内のプログラムよりも平均して短い正しいプログラムを生成するように学習することも示します。これは、言語モデルの出力が意味的に意味のある方法でトレーニング分布と異なる可能性があることの証拠です。
要約すると、この論文は言語モデルをトレーニングするための新しい手法を提案するものではありませんが、実験的なフレームワークを開発し、言語モデルにおける (形式的な) 意味の取得と表現についての洞察を提供します。

要約(オリジナル)

We present evidence that language models can learn meaning despite being trained only to perform next token prediction on text, specifically a corpus of programs. Each program is preceded by a specification in the form of (textual) input-output examples. Working with programs enables us to precisely define concepts relevant to meaning in language (e.g., correctness and semantics), making program synthesis well-suited as an intermediate testbed for characterizing the presence (or absence) of meaning in language models. We first train a Transformer model on the corpus of programs, then probe the trained model’s hidden states as it completes a program given a specification. Despite providing no inductive bias toward learning the semantics of the language, we find that a linear probe is able to extract abstractions of both current and future program states from the model states. Moreover, there is a strong, statistically significant correlation between the accuracy of the probe and the model’s ability to generate a program that implements the specification. To evaluate whether the semantics are represented in the model states rather than learned by the probe, we design a novel experimental procedure that intervenes on the semantics of the language while preserving the lexicon and syntax. We also demonstrate that the model learns to generate correct programs that are, on average, shorter than those in the training set, which is evidence that language model outputs may differ from the training distribution in semantically meaningful ways. In summary, this paper does not propose any new techniques for training language models, but develops an experimental framework for and provides insights into the acquisition and representation of (formal) meaning in language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google