On the Proper Treatment of Tokenization in Psycholinguistics

要約

言語モデルは、言語モデルに基づく対象領域 (文字の部分文字列) の負の対数確率 (驚き) を、運用化された読者が経験する認知コストに関連付ける理論をテストするために、計算心理言語学で広く使用されています。
領域の注視時間によって。
ただし、現代言語モデルの心理言語研究への適用は、モデルのトレーニングの中間ステップとしてトークン化を使用するため、複雑になります。
これを行うと、文字列に対する言語モデルではなく、トークン文字列に対する言語モデルが作成されます。
厄介なことに、関心のある領域は通常、これらのトークン文字列とずれています。
この論文は、トークンレベルの言語モデルは、対象領域の驚きを計算する心理言語研究で使用される前に、文字レベルの言語モデルに（ほぼ）隅に追いやられるべきであると主張しています。
次に、疎外された文字レベル言語モデルを使用して、実験者が予測子として使用したい任意の文字部分文字列 (焦点領域と呼ぶ) の意外性を計算できます。
トークンレベルのモデルを文字レベルのモデルに周辺化するという私たちの提案は、トークン化スキームとは関係なく、この不整合の問題を解決します。
経験的に、関心領域自体の驚きよりも、その驚きの方がより優れた心理測定予測因子であるさまざまな焦点領域を発見します。

要約(オリジナル)

Language models are widely used in computational psycholinguistics to test theories that relate the negative log probability (the surprisal) of a region of interest (a substring of characters) under a language model to its cognitive cost experienced by readers, as operationalized, for example, by gaze duration on the region. However, the application of modern language models to psycholinguistic studies is complicated by the practice of using tokenization as an intermediate step in training a model. Doing so results in a language model over token strings rather than one over character strings. Vexingly, regions of interest are generally misaligned with these token strings. The paper argues that token-level language models should be (approximately) marginalized into character-level language models before they are used in psycholinguistic studies to compute the surprisal of a region of interest; then, the marginalized character-level language model can be used to compute the surprisal of an arbitrary character substring, which we term a focal area, that the experimenter may wish to use as a predictor. Our proposal of marginalizing a token-level model into a character-level one solves this misalignment issue independently of the tokenization scheme. Empirically, we discover various focal areas whose surprisal is a better psychometric predictor than the surprisal of the region of interest itself.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google