Transformers, Contextualism, and Polysemy

要約

Vaswani らによって導入された変圧器アーキテクチャ。
(2017) は、Chat-GPT や Claude などの広く使用されているチャットボットを含む、言語モデルの開発における最近の目覚ましい進歩の中心となっています。
この論文では、変換器アーキテクチャの動作方法から、コンテキストと意味の関係の理論を抽出できると主張します。
私はこれをトランスフォーマー理論と呼んでいますが、これは関連する 2 つの哲学的議論に関して新規であると主張します。1 つは自然言語全体にわたる文脈依存性の程度に関する文脈主義の議論、もう 1 つは自然言語の説明の中で多義性をどのように捉えるべきかに関する多義性の議論です。
言葉の意味。

要約(オリジナル)

The transformer architecture, introduced by Vaswani et al. (2017), is at the heart of the remarkable recent progress in the development of language models, including widely-used chatbots such as Chat-GPT and Claude. In this paper, I argue that we can extract from the way the transformer architecture works a theory of the relationship between context and meaning. I call this the transformer theory, and I argue that it is novel with regard to two related philosophical debates: the contextualism debate regarding the extent of context-sensitivity across natural language, and the polysemy debate regarding how polysemy should be captured within an account of word meaning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google