Aspects of human memory and Large Language Models

要約

大規模言語モデル (LLM) は、主にテキストを生成する役割を果たす巨大な人工ニューラル ネットワークですが、言語使用の非常に洗練された確率モデルも提供します。
意味的に一貫したテキストを生成するには、効果的な記憶の形式が必要であるため、LLM の記憶特性を調査し、人間の記憶の主要な特徴との驚くべき類似点を発見しました。
私たちは、大規模言語モデルの人間に似た記憶特性は、LLM アーキテクチャから自動的に従うのではなく、トレーニング テキスト データの統計から学習されると主張します。
これらの結果は、人間の記憶の生物学的特徴が、テキストの物語を構築する方法に痕跡を残すことを強く示唆しています。

要約(オリジナル)

Large Language Models (LLMs) are huge artificial neural networks which primarily serve to generate text, but also provide a very sophisticated probabilistic model of language use. Since generating a semantically consistent text requires a form of effective memory, we investigate the memory properties of LLMs and find surprising similarities with key characteristics of human memory. We argue that the human-like memory properties of the Large Language Model do not follow automatically from the LLM architecture but are rather learned from the statistics of the training textual data. These results strongly suggest that the biological features of human memory leave an imprint on the way that we structure our textual narratives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google