Measuring Meaning Composition in the Human Brain with Composition Scores from Large Language Models

要約

形態素や単語などの小さな単位が結合してフレーズや文の意味を形成する意味合成のプロセスは、人間の文章理解に不可欠です。
意味の構成に関与する脳領域に関する神経言語学的研究が広範に行われているにもかかわらず、構成の程度を定量化するための計算尺度はまだ不足しています。
トランスフォーマ フィードフォワード ネットワーク ブロックのキーと値のメモリ解釈を利用して、文章理解中の意味構成の程度を定量化するように設計された新しいモデルベースの指標である構成スコアを導入します。
実験結果では、この指標が単語の頻度、構造処理、単語に対する一般的な感受性に関連する脳クラスターと相関していることが示されており、人間の文章理解における意味構成の多面的な性質が示唆されています。

要約(オリジナル)

The process of meaning composition, wherein smaller units like morphemes or words combine to form the meaning of phrases and sentences, is essential for human sentence comprehension. Despite extensive neurolinguistic research into the brain regions involved in meaning composition, a computational metric to quantify the extent of composition is still lacking. Drawing on the key-value memory interpretation of transformer feed-forward network blocks, we introduce the Composition Score, a novel model-based metric designed to quantify the degree of meaning composition during sentence comprehension. Experimental findings show that this metric correlates with brain clusters associated with word frequency, structural processing, and general sensitivity to words, suggesting the multifaceted nature of meaning composition during human sentence comprehension.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google