Testing learning hypotheses using neural networks by manipulating learning data

要約

受動態化は英語では生産的だが、完全に一般的というわけではない。英語話者は、このような一般的なパターンの例外をどのように学習するのだろうか？我々はニューラルネットワーク言語モデルを習得の理論として用い、学習者が動詞が受動化できるかどうかを学習するために活用できる間接的な証拠の情報源を探る。まず、英語話者が受動態の例外を判断する際の特徴を明らかにし、ある動詞が他の動詞よりも受動態になりやすいことを確認する。次に、ニューラルネットワーク言語モデルが、人間が示すものと同様の受動態の制限を学習できることを示し、これらの例外の証拠が言語入力にあることを示唆する。我々は、言語モデルがどのようにこれらの制限を学習するかについて、2つの仮説の因果的な役割を検証するために、既存の学習コーパスを変更して作成した修正学習コーパスでモデルを学習する。その結果、動詞が受動態に現れる頻度は受動態の可否に大きく影響するが、動詞の意味論は影響しないことがわかった。本研究は、学習者の入力を完全に制御することが重要な問題に答えるために、言語モデルの学習データを変更することの有用性を強調するものである。

要約(オリジナル)

Although passivization is productive in English, it is not completely general — some exceptions exist (e.g. *One hour was lasted by the meeting). How do English speakers learn these exceptions to an otherwise general pattern? Using neural network language models as theories of acquisition, we explore the sources of indirect evidence that a learner can leverage to learn whether a verb can passivize. We first characterize English speakers’ judgments of exceptions to the passive, confirming that speakers find some verbs more passivizable than others. We then show that a neural network language model can learn restrictions to the passive that are similar to those displayed by humans, suggesting that evidence for these exceptions is available in the linguistic input. We test the causal role of two hypotheses for how the language model learns these restrictions by training models on modified training corpora, which we create by altering the existing training corpora to remove features of the input implicated by each hypothesis. We find that while the frequency with which a verb appears in the passive significantly affects its passivizability, the semantics of the verb does not. This study highlight the utility of altering a language model’s training data for answering questions where complete control over a learner’s input is vital.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL