semantic-features: A User-Friendly Tool for Studying Contextual Word Embeddings in Interpretable Semantic Spaces

要約

Chronis et al。
（2023）LMSの文脈化された単語の埋め込みを、それらを解釈可能な空間に投影することにより、研究するため。
このツールは、発話の意味解釈に対するデイティブ構造の選択（前置詞または二重オブジェクト）のコンテキスト効果を測定する実験に適用します（Bresnan、2007）。
具体的には、「ロンドン」の「ロンドン」を「ロンドンに送った」かどうかをテストします。
「私はロンドンに手紙を送った」よりも、アニメーションの指示対象（例えば、人の名前として）として解釈される可能性が高いです。
この目的のために、450ペアのデータセットを考案します。各デイティブ構造に1つは、受信者がPerson-Hood vs. Place-Hoodに関してあいまいです。
セマンティックフィーチャーを適用することにより、3つのマスクされた言語モデルのコンテキスト化された単語の埋め込みが、予想される感度を示していることを示します。
これにより、ツールの有用性について楽観的になります。

要約(オリジナル)

We introduce semantic-features, an extensible, easy-to-use library based on Chronis et al. (2023) for studying contextualized word embeddings of LMs by projecting them into interpretable spaces. We apply this tool in an experiment where we measure the contextual effect of the choice of dative construction (prepositional or double object) on the semantic interpretation of utterances (Bresnan, 2007). Specifically, we test whether ‘London’ in ‘I sent London the letter.’ is more likely to be interpreted as an animate referent (e.g., as the name of a person) than in ‘I sent the letter to London.’ To this end, we devise a dataset of 450 sentence pairs, one in each dative construction, with recipients being ambiguous with respect to person-hood vs. place-hood. By applying semantic-features, we show that the contextualized word embeddings of three masked language models show the expected sensitivities. This leaves us optimistic about the usefulness of our tool.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google