Do Language Models Refer?

要約

言語モデル (LM) は言語に対して何をしますか?
誰もが、（ほとんど）一貫した文章のシーケンスを生成することに同意します。
しかし、彼らはこれらの文字列で何かを言っているのでしょうか、それとも言語使用の説得力のある模倣で単にしゃべっているのでしょうか？
これは漠然とした質問であり、正確にする方法はたくさんあります。
ここでは、質問の 1 つの側面、つまり LM の言葉が言及しているかどうか、つまり LM の出力が「言葉と世界」のつながりを達成しているかどうかについて取り上げます。
LM は通常の言語ユーザーが行うような方法で世界と対話しないため、LM がそうでないと考える一応の理由があります。
言語哲学における外在主義の伝統からの洞察に基づいて、私たちは、外見は誤解を招くものであり、LMが参照できると考える十分な理由があると主張します。

要約(オリジナル)

What do language models (LMs) do with language? Everyone agrees that they produce sequences of (mostly) coherent sentences. But are they saying anything with those strings or simply babbling in a convincing simulacrum of language use? This is a vague question, and there are many ways of making it precise. Here we will address one aspect of the question, namely, whether LMs’ words refer: that is, whether the outputs of LMs achieve ‘word-to-world’ connections. There is prima facie reason to think they do not since LMs do not interact with the world in the way that ordinary language users do. Drawing on insights from the externalist tradition in philosophy of language, we argue that appearances are misleading and that there is good reason to think that LMs can refer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google