Mapping Brains with Language Models: A Survey

要約

長年にわたり、多くの研究者が同様の観察を行っているようです。脳と言語モデルの活性化は、いくつかの構造的類似性を示し、神経記録から抽出された特徴と計算言語モデルの間の線形部分マッピングを可能にします。
この観察についてどれだけの証拠が蓄積されているかを評価するために、私たちは 10 のデータセットと 8 つの指標にわたる 30 以上の研究を調査しました。
どれだけの証拠が蓄積されているのか、結論を出す前に欠けているものがあるとしたら何が欠けているのか?
文献で使用されている評価方法を分析したところ、一部の指標はそれほど保守的ではないことが明らかになりました。
また、現時点では蓄積された証拠はあいまいなままですが、モデルのサイズと品質との相関関係が慎重な楽観論の根拠となることもわかりました。

要約(オリジナル)

Over the years, many researchers have seemingly made the same observation: Brain and language model activations exhibit some structural similarities, enabling linear partial mappings between features extracted from neural recordings and computational language models. In an attempt to evaluate how much evidence has been accumulated for this observation, we survey over 30 studies spanning 10 datasets and 8 metrics. How much evidence has been accumulated, and what, if anything, is missing before we can draw conclusions? Our analysis of the evaluation methods used in the literature reveals that some of the metrics are less conservative. We also find that the accumulated evidence, for now, remains ambiguous, but correlations with model size and quality provide grounds for cautious optimism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google