Aspects of human memory and Large Language Models

要約

大規模言語モデル (LLM) は、主にテキストを生成する役割を果たす巨大な人工ニューラル ネットワークですが、言語使用の非常に洗練された確率モデルも提供します。
意味的に一貫したテキストを生成するには、効果的な記憶の形式が必要であるため、LLM の記憶特性を調査し、人間の記憶の主要な特徴との驚くべき類似点を発見しました。
この結果は、人間の記憶の生物学的特徴が、テキストの物語を構築する方法に痕跡を残すことを強く示唆しています。

要約(オリジナル)

Large Language Models (LLMs) are huge artificial neural networks which primarily serve to generate text, but also provide a very sophisticated probabilistic model of language use. Since generating a semantically consistent text requires a form of effective memory, we investigate the memory properties of LLMs and find surprising similarities with key characteristics of human memory. This result strongly suggests that the biological features of human memory leave an imprint on the way that we structure our textual narratives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google