Experiential Semantic Information and Brain Alignment: Are Multimodal Models Better than Language Models?

要約

計算言語学の一般的な仮定は、マルチモーダルモデルによって学んだテキスト表現は、画像や音声に基づいているため、言語のみのモデルよりも豊かで人間のようなものであることです。
ただし、これが真であるかどうかを確認する実証研究には、ほとんど欠けています。
対照的なマルチモーダルモデルと言語のみのモデルからの単語表現を、既存の標準ベースの「体験モデル」によって定義され、人間のfMRI応答と一致するように、彼らが体験情報をキャプチャする程度での単語表現を比較することにより、このギャップに対処します。
我々の結果は、驚くべきことに、言語のみのモデルが両方の点でマルチモーダルモデルよりも優れていることを示しています。
さらに、体験モデルと共有されているものを超えて、よりユニークな脳関連のセマンティック情報を学びます。
全体として、私たちの研究は、マルチモーダルデータソースによって提供される補完的なセマンティック情報をよりよく統合する計算モデルを開発する必要性を強調しています。

要約(オリジナル)

A common assumption in Computational Linguistics is that text representations learnt by multimodal models are richer and more human-like than those by language-only models, as they are grounded in images or audio — similar to how human language is grounded in real-world experiences. However, empirical studies checking whether this is true are largely lacking. We address this gap by comparing word representations from contrastive multimodal models vs. language-only ones in the extent to which they capture experiential information — as defined by an existing norm-based ‘experiential model’ — and align with human fMRI responses. Our results indicate that, surprisingly, language-only models are superior to multimodal ones in both respects. Additionally, they learn more unique brain-relevant semantic information beyond that shared with the experiential model. Overall, our study highlights the need to develop computational models that better integrate the complementary semantic information provided by multimodal data sources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google