Transformers, Contextualism, and Polysemy

要約

Vaswani らによって導入された変圧器アーキテクチャ。
(2017) は、Chat-gpt や Bard などの有名なチャットボットを含む、言語モデルの開発における最近の目覚ましい進歩の中心となっています。
この論文では、トランスフォーマー アーキテクチャの動作方法から、コンテキストと意味の関係の全体像を抽出できると主張します。
私はこれを「トランスフォーマー像」と呼んでいますが、これは関連する 2 つの哲学的議論に関して斬新であると主張します。1 つは自然言語全体にわたる文脈依存性の範囲に関する文脈主義の議論、もう 1 つはアカウント内で多義性をどのように捉えるべきかに関する多義性の議論です。
言葉の意味の。
論文の大部分は単にこれら 2 つの議論に関して変圧器の全体像を位置づけようとしているだけですが、私は変圧器の全体像についても主張し始めます。

要約(オリジナル)

The transformer architecture, introduced by Vaswani et al. (2017), is at the heart of the remarkable recent progress in the development of language models, including famous chatbots such as Chat-gpt and Bard. In this paper, I argue that we an extract from the way the transformer architecture works a picture of the relationship between context and meaning. I call this the transformer picture, and I argue that it is a novel with regard to two related philosophical debates: the contextualism debate regarding the extent of context-sensitivity across natural language, and the polysemy debate regarding how polysemy should be captured within an account of word meaning. Although much of the paper merely tries to position the transformer picture with respect to these two debates, I will also begin to make the case for the transformer picture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google