Recite, Reconstruct, Recollect: Memorization in LMs as a Multifaceted Phenomenon

要約

言語モデルにおける記憶は通常、同種の現象として扱われ、記憶されたデータの詳細は無視されます。
代わりに、各サンプルを説明し、それをモデルとコーパスに関連付ける一連の複雑な要因の影響として記憶をモデル化します。
これらの要素に関する直観を構築するために、記憶を分類法に分割します。つまり、高度に重複するシーケンスの暗唱、本質的に予測可能なシーケンスの再構築、そしてそのどちらでもないシーケンスの想起です。
私たちは、分類法を使用して記憶のための予測モデルを構築することによって、その分類法の有用性を実証します。
依存関係を分析し、予測モデルの重みを検査することにより、さまざまな要因が分類学的カテゴリーに応じて暗記の可能性に異なる影響を与えることがわかりました。

要約(オリジナル)

Memorization in language models is typically treated as a homogenous phenomenon, neglecting the specifics of the memorized data. We instead model memorization as the effect of a set of complex factors that describe each sample and relate it to the model and corpus. To build intuition around these factors, we break memorization down into a taxonomy: recitation of highly duplicated sequences, reconstruction of inherently predictable sequences, and recollection of sequences that are neither. We demonstrate the usefulness of our taxonomy by using it to construct a predictive model for memorization. By analyzing dependencies and inspecting the weights of the predictive model, we find that different factors influence the likelihood of memorization differently depending on the taxonomic category.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google