Pretrain on just structure: Understanding linguistic inductive biases using transfer learning

要約

タイトル：構造のみで事前学習：転移学習を利用して言語学的帰納的バイアスを理解する　
要約：
– 人間やトランスフォーマー言語モデルは、明示的な構造的な監督なしに言語を学ぶことができる。
– このような学習が可能になる帰納的な学習のバイアスは何か？
– この研究では、人工的に構造的なバイアスを作り出し、そのバイアスを事前学習によって言語モデルに書き込み、その後、英語にファインチューニングすることによって、異なる帰納的な学習バイアスの効果を調べる。
– 実験的な設定によって、言語モデルの帰納的なバイアスを制御することができる。
– 3種類の帰納的なバイアスの比較的成功を調べる：1）再帰的で階層的な処理のための帰納的なバイアス、2）文脈自由文法ではモデル化できない自由トークン依存関係のための帰納的なバイアス、3）Zipfianパワーロー語彙分布のための帰納的なバイアス。
– 複雑なトークン間の相互作用が最良の帰納的なバイアスを形成することを示し、文脈自由でない場合に最も強いことを示す。
– 形式的文法構造とは独立して、Zipfian語彙分布が適切な帰納的なバイアスを形成することを示す。
– この研究は、トランスフォーマーモデルの能力を活用して、人間では不可能な制御された言語学習実験を実行し、人間と機械の両方で言語学習を促進する構造についての仮説を表出する。

要約(オリジナル)

Both humans and transformer language models are able to learn language without explicit structural supervision. What inductive learning biases make this learning possible? In this study, we examine the effect of different inductive learning biases by predisposing language models with structural biases through pretraining on artificial structured data, and then evaluating by fine-tuning on English. Our experimental setup gives us the ability to actively control the inductive bias of language models. With our experiments, we investigate the comparative success of three types of inductive bias: 1) an inductive bias for recursive, hierarchical processing 2) an inductive bias for unrestricted token-token dependencies that can’t be modeled by context-free grammars, and 3) an inductive bias for a Zipfian power-law vocabulary distribution. We show that complex token-token interactions form the best inductive biases, and that this is strongest in the non-context-free case. We also show that a Zipfian vocabulary distribution forms a good inductive bias independently from grammatical structure. Our study leverages the capabilities of transformer models to run controlled language learning experiments that are not possible to run in humans, and surfaces hypotheses about the structures that facilitate language learning in both humans and machines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI