Language Models Don’t Learn the Physical Manifestation of Language

要約

私たちは、言語のみのモデルは言語の物理的な表現を学習しないと主張します。
我々は、H テストと呼ばれる一連のタスクを通じて、言語の視覚と聴覚の特性を実証的に調査します。
これらの課題は、人間の言語理解と、LLM の感覚を奪われた言語理解との間の根本的なギャップを浮き彫りにします。
私たちの仮説を裏付けるものとして、1. 意図的な推論 (思考連鎖)、2. 少数のショットの例、または 3. 同じモデルファミリーのより強力な LLM (LLaMA 2 13B -> LLaMA 2 70B) は、
H テストのパフォーマンス。
私たちは、言語のみのモデルが世界についてどのように学習するかを理解するための有用な概念的枠組みとして、感覚が奪われた環境で世界について学習するメアリーの哲学的事例を導入します (Jackson、1986)。
私たちの実験では、最も強力な独自の LLM のいくつかはランダムチャンスのベースライン精度 50% に近いことが示されており、感覚経験がない場合に獲得される言語知識の限界が浮き彫りになっています。
コードとデータは で入手できます。

要約(オリジナル)

We argue that language-only models don’t learn the physical manifestation of language. We present an empirical investigation of visual-auditory properties of language through a series of tasks, termed H-Test. These tasks highlight a fundamental gap between human linguistic understanding and the sensory-deprived linguistic understanding of LLMs. In support of our hypothesis, 1. deliberate reasoning (Chain-of-Thought), 2. few-shot examples, or 3. stronger LLM from the same model family (LLaMA 2 13B -> LLaMA 2 70B) has no significant effect on H-Test performance. We bring in the philosophical case of Mary, who learns about the world in a sensory-deprived environment as a useful conceptual framework to understand how language-only models learn about the world (Jackson, 1986). Our experiments show that some of the strongest proprietary LLMs stay near random chance baseline accuracy of 50%, highlighting the limitations of linguistic knowledge acquired in the absence of sensory experience. Our code and data are available at .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google