A Philosophical Introduction to Language Models — Part I: Continuity With Classic Debates

要約

GPT-4 のような大規模な言語モデルは、広範囲の言語ベースのタスクにおいて顕著な習熟度を達成しており、その一部は伝統的に人間の知能の特徴と関連付けられています。
このため、あらゆる種類の言語能力または認知能力を言語モデルに有意義に帰すことができる範囲について、継続的な意見の相違が生じています。
このような疑問には深い哲学的な根があり、認知モデルとしての人工ニューラル ネットワークの地位に関する長年の議論を反映しています。
この記事 (2 つの関連論文の最初の部分) は、哲学者のための言語モデルに関する入門書として、また哲学の認知科学、人工知能、言語学における古典的な議論に関連した言語モデルの重要性についての独断的な調査としての役割を果たします。
構成性、言語習得、意味論的能力、グラウンディング、世界モデル、文化的知識の伝達などのトピックを扱います。
私たちは、言語モデルの成功は、人工ニューラル ネットワークに関する長年保持されてきたいくつかの仮定に疑問を投げかけると主張します。
ただし、その内部メカニズムをより深く理解するためには、さらなる実証的調査の必要性も強調します。
これにより、関連論文 (パート II) の準備が整えられ、言語モデルの内部動作を調査するための新しい経験的手法と、最新の開発によって促された新しい哲学的疑問に焦点が当てられます。

要約(オリジナル)

Large language models like GPT-4 have achieved remarkable proficiency in a broad spectrum of language-based tasks, some of which are traditionally associated with hallmarks of human intelligence. This has prompted ongoing disagreements about the extent to which we can meaningfully ascribe any kind of linguistic or cognitive competence to language models. Such questions have deep philosophical roots, echoing longstanding debates about the status of artificial neural networks as cognitive models. This article — the first part of two companion papers — serves both as a primer on language models for philosophers, and as an opinionated survey of their significance in relation to classic debates in the philosophy cognitive science, artificial intelligence, and linguistics. We cover topics such as compositionality, language acquisition, semantic competence, grounding, world models, and the transmission of cultural knowledge. We argue that the success of language models challenges several long-held assumptions about artificial neural networks. However, we also highlight the need for further empirical investigation to better understand their internal mechanisms. This sets the stage for the companion paper (Part II), which turns to novel empirical methods for probing the inner workings of language models, and new philosophical questions prompted by their latest developments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google