Unsupervised Improvement of Factual Knowledge in Language Models

要約

タイトル：言語モデルにおける事実的な知識の非教示的改善

要約：

– Masked Language Modeling (MLM)は、大規模な言語モデルの事前学習において重要な役割を担っている。
– しかし、MLMの目的は、学習上不十分な高頻度の単語に支配されることが多いため、事実的な知識の習得には向かない。
– 本研究では、完全に非教示的な方法で、言語モデルが情報量の高い単語に優先的に注目するようMLMの事前学習に影響を与えるアプローチを提案している。
– 実験により、提案手法は、事実リコール、質問応答、感情分析、および自然言語推論など、クローズドブックの環境における、事前学習された言語モデルの性能を大幅に向上させることが示されている。

要約(オリジナル)

Masked language modeling (MLM) plays a key role in pretraining large language models. But the MLM objective is often dominated by high-frequency words that are sub-optimal for learning factual knowledge. In this work, we propose an approach for influencing MLM pretraining in a way that can improve language model performance on a variety of knowledge-intensive tasks. We force the language model to prioritize informative words in a fully unsupervised way. Experiments demonstrate that the proposed approach can significantly improve the performance of pretrained language models on tasks such as factual recall, question answering, sentiment analysis, and natural language inference in a closed-book setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI