Coupling Artificial Neurons in BERT and Biological Neurons in the Human Brain

要約

計算による自然言語処理 (NLP) モデルと人間の脳内の言語に対する神経応答をリンクすることで、一方では言語知覚を支える神経表現のもつれを解きほぐす努力が促進され、他方では NLP モデルを評価および改善するための神経言語学の証拠が提供されます。
NLP モデルの表現と言語入力によって引き起こされる脳活動のマッピングは、通常、この共生を明らかにするために展開されます。
ただし、2 つの重大な問題がその進歩を制限しています。
2) 脳活動 (生物学的ニューロン、BN) は、孤立した皮質単位 (すなわち、ボクセル/領域) の神経記録に限定されているため、脳機能間の統合と相互作用が欠けています。
これらの問題に対処するために、この研究では、1) トランスフォーマーベースの NLP モデル (この研究では BERT) で細粒度を持つ AN を定義し、テキスト シーケンスを入力するための一時的なアクティベーションを測定します。
2) 機能的磁気共鳴画像法 (fMRI) データから抽出された機能的脳ネットワーク (FBN) として BN を定義し、脳内の機能的相互作用を捉えます。
3) 一時的なアクティベーションの同期を最大化することにより、AN と BN を結合します。
私たちの実験結果は、1）ANとBNの活性化が大幅に同期していることを示しています。
2) AN は、意味のある言語/意味情報を保持し、BN 署名に固定されます。
3) アンカーされた BN は、神経言語学的な文脈で解釈可能です。
全体として、私たちの研究は、トランスフォーマーベースのNLPモデルと言語に応じた神経活動をリンクするための斬新で一般的で効果的なフレームワークを導入し、脳にヒントを得た評価やNLPモデルの開発などの将来の研究に新しい洞察を提供する可能性があります。

要約(オリジナル)

Linking computational natural language processing (NLP) models and neural responses to language in the human brain on the one hand facilitates the effort towards disentangling the neural representations underpinning language perception, on the other hand provides neurolinguistics evidence to evaluate and improve NLP models. Mappings of an NLP model’s representations of and the brain activities evoked by linguistic input are typically deployed to reveal this symbiosis. However, two critical problems limit its advancement: 1) The model’s representations (artificial neurons, ANs) rely on layer-level embeddings and thus lack fine-granularity; 2) The brain activities (biological neurons, BNs) are limited to neural recordings of isolated cortical unit (i.e., voxel/region) and thus lack integrations and interactions among brain functions. To address those problems, in this study, we 1) define ANs with fine-granularity in transformer-based NLP models (BERT in this study) and measure their temporal activations to input text sequences; 2) define BNs as functional brain networks (FBNs) extracted from functional magnetic resonance imaging (fMRI) data to capture functional interactions in the brain; 3) couple ANs and BNs by maximizing the synchronization of their temporal activations. Our experimental results demonstrate 1) The activations of ANs and BNs are significantly synchronized; 2) the ANs carry meaningful linguistic/semantic information and anchor to their BN signatures; 3) the anchored BNs are interpretable in a neurolinguistic context. Overall, our study introduces a novel, general, and effective framework to link transformer-based NLP models and neural activities in response to language and may provide novel insights for future studies such as brain-inspired evaluation and development of NLP models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google