Frequency effects in Linear Discriminative Learning

要約

単語の頻度は、ほとんどの語彙処理タスクにおいて強力な予測因子です。
したがって、単語認識のモデルでは、単語の頻度効果がどのように生じるかを考慮する必要があります。
Discriminative Lexicon Model (DLM; Baayen et al., 2018a, 2019) は、単語の形式とその意味の間の線形マッピングを使用して語彙処理をモデル化します。
これまでのところ、マッピングは、周波数効果を捉えることができる計算コストの高いプロセスであるエラー駆動学習によって段階的に取得するか、すべての単語が学習される理論的な学習の最終状態 (EL) をモデル化する効率的だが周波数に依存しないソリューションによって取得できます。
最適に。
この研究では、形式と意味の間の効率的でありながら周波数情報に基づいたマッピング (周波数情報に基づいた学習、FIL) をどのようにして取得できるかを示します。
FIL は増分ソリューションによく近似していると同時に、計算​​コストがはるかに安いことがわかりました。
FIL は比較的低い型精度と高いトークン精度を示し、このモデルが日常生活で話者が遭遇するほとんどの単語トークンを正しく処理できることを示しています。
私たちはオランダ辞書プロジェクト (Keuleers et al., 2010) で反応時間をモデル化するために FIL を使用しました。その結果、FIL は頻度と反応時間の平均の間の S 字型の関係をよく予測しますが、低頻度単語の反応時間の分散は過小評価していることがわかりました。
。
FIL は、EL と比較して、北京語の聴覚語彙決定タスクにおけるプライミング効果をよりよく説明することもできます (Lee、2007)。
最後に、CHILDES (Brown、1973; Demuth et al.、2006) からの順序付けされたデータを使用して、FIL と増分学習で得られたマッピングを比較しました。
マッピングは高度に相関していますが、FIL では語順効果に基づくニュアンスの一部が失われます。
私たちの結果は、学習モデルにおける頻度の影響をどのように効率的にシミュレートできるかを示しており、認知モデルにおいて低頻度の単語を最適に説明する方法について疑問を投げかけています。

要約(オリジナル)

Word frequency is a strong predictor in most lexical processing tasks. Thus, any model of word recognition needs to account for how word frequency effects arise. The Discriminative Lexicon Model (DLM; Baayen et al., 2018a, 2019) models lexical processing with linear mappings between words’ forms and their meanings. So far, the mappings can either be obtained incrementally via error-driven learning, a computationally expensive process able to capture frequency effects, or in an efficient, but frequency-agnostic solution modelling the theoretical endstate of learning (EL) where all words are learned optimally. In this study we show how an efficient, yet frequency-informed mapping between form and meaning can be obtained (Frequency-informed learning; FIL). We find that FIL well approximates an incremental solution while being computationally much cheaper. FIL shows a relatively low type- and high token-accuracy, demonstrating that the model is able to process most word tokens encountered by speakers in daily life correctly. We use FIL to model reaction times in the Dutch Lexicon Project (Keuleers et al., 2010) and find that FIL predicts well the S-shaped relationship between frequency and the mean of reaction times but underestimates the variance of reaction times for low frequency words. FIL is also better able to account for priming effects in an auditory lexical decision task in Mandarin Chinese (Lee, 2007), compared to EL. Finally, we used ordered data from CHILDES (Brown, 1973; Demuth et al., 2006) to compare mappings obtained with FIL and incremental learning. The mappings are highly correlated, but with FIL some nuances based on word ordering effects are lost. Our results show how frequency effects in a learning model can be simulated efficiently, and raise questions about how to best account for low-frequency words in cognitive models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google