Towards a Psychology of Machines: Large Language Models Predict Human Memory

要約

大規模言語モデル (LLM) は、人間の認知に基づいていないにもかかわらず、さまざまなタスクにわたって優れているため、人間の認知メカニズムについての洞察を提供する可能性についての研究が促されています。
この研究では、言語ベースの記憶タスクにおける人間のパフォーマンスを予測する ChatGPT の能力を調査します。
テキスト理解の理論に従って、関連する先行コンテキストがあるとあいまいな文の認識が容易になるという仮説を立てました。
人間と ChatGPT を含む参加者には、一対の文が与えられました。2 番目は常に庭の小道の文で、最初の文は適合するコンテキストまたは不適合なコンテキストを提供します。
私たちは文の関連性と記憶しやすさについての評価を測定しました。
結果は、ChatGPT の評価と人間の記憶能力との間に強い一致があることを示しました。
適合するコンテキスト内の文は、ChatGPT によってより関連性が高く記憶に残ると評価され、人間の記憶にも優れていると評価され、人間のパフォーマンスを予測し、心理理論に貢献する LLM の可能性が強調されました。

要約(オリジナル)

Large language models (LLMs) are excelling across various tasks despite not being based on human cognition, prompting an investigation into their potential to offer insights into human cognitive mechanisms. This study examines ChatGPT’s ability to predict human performance in a language-based memory task. Following theories of text comprehension, we hypothesized that recognizing ambiguous sentences is easier with relevant preceding context. Participants, including humans and ChatGPT, were given pairs of sentences: the second always a garden-path sentence, and the first providing either fitting or unfitting context. We measured their ratings of sentence relatedness and memorability. Results showed a strong alignment between ChatGPT’s assessments and human memory performance. Sentences in the fitting context were rated as being more related and memorable by ChatGPT and were better remembered by humans, highlighting LLMs’ potential to predict human performance and contribute to psychological theories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google