Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network

要約

大規模言語モデル (LLM) は人間の言語システムの効果的なモデルであることが示されており、一部のモデルは現在のデータセットにおける脳活動の最も説明可能な分散を予測します。
トレーニングされていないモデルであっても、アーキテクチャの事前分布によって誘導された表現は、脳データとの合理的な整合性を示すことができます。
この研究では、トレーニングされていないモデルの驚くべき配置を推進する主要なアーキテクチャ コンポーネントを調査します。
LLM と脳の類似性を推定するには、神経科学者が人間の脳内の言語ネットワークを識別する方法と同様に、まず LLM 内の言語選択単位を選択します。
次に、5 つの異なる脳記録データセットにわたって、これらの LLM ユニットの脳の調整をベンチマークします。
Transformer アーキテクチャの重要なコンポーネントを分離することで、トークン化戦略とマルチヘッド アテンションが脳の調整を促進する 2 つの主要なコンポーネントであることを特定しました。
単純な形式の反復により、位置合わせがさらに向上します。
さらに、言語神経科学分野における画期的な研究を再現することで、このモデルの定量的な脳の整合性を実証し、局所的なモデル単位が、人間の脳で経験的に測定された言語ボクセルと同様に、構文上の違いよりも語彙上の違いをより確実に識別できることを示し、
同じ実験条件下で同様の応答プロファイル。
最後に、言語モデリングにおけるモデルの表現の有用性を実証し、同等のアーキテクチャと比較してサンプルとパラメーターの効率の向上を実現します。
私たちのモデルによる驚きの推定は、人間の読書時間に合わせた行動の調整において新たな最先端を確立します。
まとめると、人間の言語システムを、構造的事前分布を備えた未訓練の浅い特徴エンコーダーとして概念化し、訓練されたデコーダーと組み合わせて、効率的でパフォーマンスの高い言語処理を実現する、高度に脳と行動が調整されたモデルを提案します。

要約(オリジナル)

Large Language Models (LLMs) have been shown to be effective models of the human language system, with some models predicting most explainable variance of brain activity in current datasets. Even in untrained models, the representations induced by architectural priors can exhibit reasonable alignment to brain data. In this work, we investigate the key architectural components driving the surprising alignment of untrained models. To estimate LLM-to-brain similarity, we first select language-selective units within an LLM, similar to how neuroscientists identify the language network in the human brain. We then benchmark the brain alignment of these LLM units across five different brain recording datasets. By isolating critical components of the Transformer architecture, we identify tokenization strategy and multihead attention as the two major components driving brain alignment. A simple form of recurrence further improves alignment. We further demonstrate this quantitative brain alignment of our model by reproducing landmark studies in the language neuroscience field, showing that localized model units — just like language voxels measured empirically in the human brain — discriminate more reliably between lexical than syntactic differences, and exhibit similar response profiles under the same experimental conditions. Finally, we demonstrate the utility of our model’s representations for language modeling, achieving improved sample and parameter efficiency over comparable architectures. Our model’s estimates of surprisal sets a new state-of-the-art in the behavioral alignment to human reading times. Taken together, we propose a highly brain- and behaviorally-aligned model that conceptualizes the human language system as an untrained shallow feature encoder, with structural priors, combined with a trained decoder to achieve efficient and performant language processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google