Deep Learning Models to Study Sentence Comprehension in the Human Brain

要約

自然言語を処理する最近の人工ニューラル ネットワークは、文レベルの理解を必要とするタスクで前例のないパフォーマンスを達成します。
そのため、それらは人間の脳における言語情報の統合の興味深いモデルになる可能性があります。
これらの人工言語モデルを人間の脳活動と比較した研究をレビューし、このアプローチが自然言語理解に関与する神経プロセスの理解をどの程度改善したかを評価します。
2 つの主要な結果が表示されます。
第 1 に、単語の意味のニューラル表現は、人工ニューラル ネットワークで使用されるコンテキスト依存の高密度の単語ベクトルと一致します。
第 2 に、人工ニューラル ネットワーク内で出現する処理階層は、脳とほぼ一致しますが、研究間で驚くほど一貫性がありません。
自然言語理解のプロセス モデルとして人工ニューラル ネットワークを確立する際の現在の課題について説明します。
表現を脳データにマッピングするときは、人工ニューラル ネットワークの高度に構造化された表現ジオメトリを活用することをお勧めします。

要約(オリジナル)

Recent artificial neural networks that process natural language achieve unprecedented performance in tasks requiring sentence-level understanding. As such, they could be interesting models of the integration of linguistic information in the human brain. We review works that compare these artificial language models with human brain activity and we assess the extent to which this approach has improved our understanding of the neural processes involved in natural language comprehension. Two main results emerge. First, the neural representation of word meaning aligns with the context-dependent, dense word vectors used by the artificial neural networks. Second, the processing hierarchy that emerges within artificial neural networks broadly matches the brain, but is surprisingly inconsistent across studies. We discuss current challenges in establishing artificial neural networks as process models of natural language comprehension. We suggest exploiting the highly structured representational geometry of artificial neural networks when mapping representations to brain data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google