On the Shape of Brainscores for Large Language Models (LLMs)

要約

大規模言語モデル (LLM) の台頭により、LLM と人間の脳/神経システムの機能的類似性を評価する手段として、新しい指標「ブレインスコア」が登場しました。
私たちの取り組みは、190 人の被験者を含むヒト fMRI データと、39 人の LLM とその未訓練の対応者の両方から得られたトポロジカル特徴を構築することにより、新しいスコアの意味を掘り出すことに専念しました。
その後、36 個の線形回帰モデルをトレーニングし、構築された特徴から信頼性が高く有効な特徴を識別するために徹底的な統計分析を実施しました。
私たちの発見は、さまざまな脳関心領域 (ROI) および半球にわたる既存の脳スコアの解釈に役立つ独特の特徴の組み合わせを明らかにし、それによって解釈可能な機械学習 (iML) 研究の進歩に大きく貢献します。
この研究は、既存の脳スコアに関するさらなる議論と分析によって強化されました。
私たちの知る限り、この研究は、この学際的な領域内で新しい指標の脳スコアを理解する最初の試みを表しています。

要約(オリジナル)

With the rise of Large Language Models (LLMs), the novel metric ‘Brainscore’ emerged as a means to evaluate the functional similarity between LLMs and human brain/neural systems. Our efforts were dedicated to mining the meaning of the novel score by constructing topological features derived from both human fMRI data involving 190 subjects, and 39 LLMs plus their untrained counterparts. Subsequently, we trained 36 Linear Regression Models and conducted thorough statistical analyses to discern reliable and valid features from our constructed ones. Our findings reveal distinctive feature combinations conducive to interpreting existing brainscores across various brain regions of interest (ROIs) and hemispheres, thereby significantly contributing to advancing interpretable machine learning (iML) studies. The study is enriched by our further discussions and analyses concerning existing brainscores. To our knowledge, this study represents the first attempt to comprehend the novel metric brainscore within this interdisciplinary domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google