Using large language models to study human memory for meaningful narratives

要約

AI 革命の最も印象的な成果の 1 つは、追加のトレーニングを必要とせずに、意味のあるテキストを生成し、平易な英語で指示に応答できる大規模な言語モデルの開発です。
ここで我々は、言語モデルが人間の意味のある内容の記憶を研究するための科学的手段として使用できることを示します。
大規模なメモリ実験を設計し、得られた結果を分析するためのパイプラインを開発しました。
私たちは多数の参加者を対象にオンライン記憶実験を実施し、さまざまな長さの物語の認識データと想起データを収集しました。
想起と認識のパフォーマンスは両方とも、物語の長さに比例して増加することがわかりました。
さらに、記憶における物語理解の役割を調査するために、提示された物語のスクランブル バージョンを使用してこれらの実験を繰り返しました。
再現率が大幅に低下したにもかかわらず、認知度はほとんど影響を受けていないことがわかりました。
興味深いことに、この状態での回想は、スクランブルされた表現ではなく、元の物語の順序に従っているように見え、記憶の中で物語が文脈的に再構築されていることを示しています。

要約(オリジナル)

One of the most impressive achievements of the AI revolution is the development of large language models that can generate meaningful text and respond to instructions in plain English with no additional training necessary. Here we show that language models can be used as a scientific instrument for studying human memory for meaningful material. We developed a pipeline for designing large scale memory experiments and analyzing the obtained results. We performed online memory experiments with a large number of participants and collected recognition and recall data for narratives of different lengths. We found that both recall and recognition performance scale linearly with narrative length. Furthermore, in order to investigate the role of narrative comprehension in memory, we repeated these experiments using scrambled versions of the presented stories. We found that even though recall performance declined significantly, recognition remained largely unaffected. Interestingly, recalls in this condition seem to follow the original narrative order rather than the scrambled presentation, pointing to a contextual reconstruction of the story in memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google