Do Language Models Exhibit Human-like Structural Priming Effects?

要約

私たちは、文とトークンのレベルで、どの言語要因が言語モデルの予測に影響を与える重要な役割を果たしているかを調査し、それらが人間と人間の体で見つかった結果を反映しているかどうかを調査します (Gries and Kootstra、2017)。
我々は、構造への最近の曝露が同じ構造の処理を容易にする構造プライミングパラダイムを利用します。
私たちは、プライミング効果が発生するかどうかだけでなく、どこでプライミング効果が発生するのか、またどのような要因がプライミング効果を予測するのかについても調査します。
我々は、これらの効果が、人間のプライミングで知られる逆周波数効果（素数内のより希少な要素がプライミング効果を増大させる）、および素数とターゲットの間の語彙依存性によって説明できることを示します。
私たちの結果は、コンテキスト内のプロパティが言語モデルの構造予測にどのような影響を与えるかを理解するというパズルの重要なピースを提供します。

要約(オリジナル)

We explore which linguistic factors — at the sentence and token level — play an important role in influencing language model predictions, and investigate whether these are reflective of results found in humans and human corpora (Gries and Kootstra, 2017). We make use of the structural priming paradigm, where recent exposure to a structure facilitates processing of the same structure. We don’t only investigate whether, but also where priming effects occur, and what factors predict them. We show that these effects can be explained via the inverse frequency effect, known in human priming, where rarer elements within a prime increase priming effects, as well as lexical dependence between prime and target. Our results provide an important piece in the puzzle of understanding how properties within their context affect structural prediction in language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google