PreCog: Exploring the Relation between Memorization and Performance in Pre-trained Language Models

要約

タイトル：PreCog：事前学習された言語モデルにおける暗記とパフォーマンスの関係を探る

要約：

– PreCogは、BERTの事前学習時の暗記を評価するための尺度である。
– 暗記された例は、一般的な学習例に関連しており、BERTのパフォーマンスと相関する。
– BERTの成功の鍵は、暗記にあると示唆されており、高度に暗記された例は、より良い分類結果を示す。

要約(オリジナル)

Pre-trained Language Models such as BERT are impressive machines with the ability to memorize, possibly generalized learning examples. We present here a small, focused contribution to the analysis of the interplay between memorization and performance of BERT in downstream tasks. We propose PreCog, a measure for evaluating memorization from pre-training, and we analyze its correlation with the BERT’s performance. Our experiments show that highly memorized examples are better classified, suggesting memorization is an essential key to success for BERT.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI