Contextualized word senses: from attention to compositionality

要約

言語モデルの神経アーキテクチャはますます複雑になってきており、特に注意メカニズムに基づくトランスフォーマーのアーキテクチャは複雑化している。数多くの自然言語処理タスクへの応用は非常に有益であることが証明されているが、解釈可能性や説明可能性がほとんどないモデルであり続けている。Transformerが最も適しているタスクの一つは、文脈埋め込みを用いた単語の文脈的意味の符号化である。本稿では、意味的構成性をモデル化することにより、単語の文脈的意味を符号化するための、透明で解釈可能な、言語学的に動機づけられた戦略を提案する。特に、係り受け関係と、選択嗜好やパラダイムクラスなどの意味的概念に注意を払う。提案モデルの部分的な実装を行い、与えられた意味タスク、すなわち文脈における語義の類似度計算について、Transformerベースのアーキテクチャと比較する。得られた結果は、複雑なニューラルアーキテクチャの基礎となるブラックボックスを使用する代わりに、言語学的動機に基づくモデルで競争することが可能であることを示している。

要約(オリジナル)

The neural architectures of language models are becoming increasingly complex, especially that of Transformers, based on the attention mechanism. Although their application to numerous natural language processing tasks has proven to be very fruitful, they continue to be models with little or no interpretability and explainability. One of the tasks for which they are best suited is the encoding of the contextual sense of words using contextualized embeddings. In this paper we propose a transparent, interpretable, and linguistically motivated strategy for encoding the contextual sense of words by modeling semantic compositionality. Particular attention is given to dependency relations and semantic notions such as selection preferences and paradigmatic classes. A partial implementation of the proposed model is carried out and compared with Transformer-based architectures for a given semantic task, namely the similarity calculation of word senses in context. The results obtained show that it is possible to be competitive with linguistically motivated models instead of using the black boxes underlying complex neural architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL