TopoLM: brain-like spatio-functional organization in a topographic language model

要約

脳内のニューロンは空間的に組織化されているため、組織上の隣接が同様の応答プロファイルを示すことがよくあります。
人間の言語システムでは、実験的研究で構文およびセマンティックカテゴリのクラスターが観察されていますが、この機能組織の根底にあるメカニズムは不明のままです。
ここでは、ビジョン文献の作業に基づいて、モデルユニットの明示的な2次元空間表現を備えたトランス言語モデルであるTopolmを開発します。
次のトークン予測目標と空間的滑らかさの損失を組み合わせることにより、このモデルの表現は、テキストの意味的に解釈可能なグループ化に対応し、脳の言語システムの機能組織と密接に一致するクラスターに集まります。
Topolmは、皮質言語システムの空間機能組織の出現と、ヒト皮質で経験的に観察される細粒の言語特徴のために選択的な機能的クラスターの組織化の出現を成功裏に予測します。
私たちの結果は、人間の言語システムの機能組織が統一された空間的目的によって駆動され、脳内の言語処理の機能的および空間的に整合したモデルを提供することを示唆しています。

要約(オリジナル)

Neurons in the brain are spatially organized such that neighbors on tissue often exhibit similar response profiles. In the human language system, experimental studies have observed clusters for syntactic and semantic categories, but the mechanisms underlying this functional organization remain unclear. Here, building on work from the vision literature, we develop TopoLM, a transformer language model with an explicit two-dimensional spatial representation of model units. By combining a next-token prediction objective with a spatial smoothness loss, representations in this model assemble into clusters that correspond to semantically interpretable groupings of text and closely match the functional organization in the brain’s language system. TopoLM successfully predicts the emergence of the spatio-functional organization of a cortical language system as well as the organization of functional clusters selective for fine-grained linguistic features empirically observed in human cortex. Our results suggest that the functional organization of the human language system is driven by a unified spatial objective, and provide a functionally and spatially aligned model of language processing in the brain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google