Probing the contents of semantic representations from text, behavior, and brain data using the psychNorms metabase

要約

意味表現は、自然言語処理、心理言語学、人工知能に不可欠です。
多くの場合、インターネットのテキストから得られますが、近年、行動ベース (自由連想など) や脳ベース (fMRI など) の表現の人気が高まっており、人間の表現を測定およびモデル化する能力の向上が期待されています。
私たちは、テキスト、行動、および脳データから得られた意味表現間の類似点と相違点の最初の体系的な評価を実行します。
表現類似性分析を使用して、行動と脳のデータから派生した単語ベクトルが、テキストから派生したものとは異なる情報をエンコードしていることを示します。
さらに、私たちが表象内容分析と呼ぶ解釈可能性手法と並行して、精神規範メタベースを利用することで、特に行動表象が特定の感情的、行為的、社会道徳的側面における固有の差異を捉えていることがわかりました。
したがって、人間の表現や行動を捉えるためのテキストを補完する重要な要素として行動を確立します。
これらの結果は、大規模な言語モデルの評価と調整に関する研究を含む、人間に合わせた意味論的表現の学習を目的とした研究に広く関連しています。

要約(オリジナル)

Semantic representations are integral to natural language processing, psycholinguistics, and artificial intelligence. Although often derived from internet text, recent years have seen a rise in the popularity of behavior-based (e.g., free associations) and brain-based (e.g., fMRI) representations, which promise improvements in our ability to measure and model human representations. We carry out the first systematic evaluation of the similarities and differences between semantic representations derived from text, behavior, and brain data. Using representational similarity analysis, we show that word vectors derived from behavior and brain data encode information that differs from their text-derived cousins. Furthermore, drawing on our psychNorms metabase, alongside an interpretability method that we call representational content analysis, we find that, in particular, behavior representations capture unique variance on certain affective, agentic, and socio-moral dimensions. We thus establish behavior as an important complement to text for capturing human representations and behavior. These results are broadly relevant to research aimed at learning human-aligned semantic representations, including work on evaluating and aligning large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google