Lost in Translation: The Algorithmic Gap Between LMs and the Brain

要約

言語モデル(LM)は、様々な言語タスクにおいて目覚ましい性能を達成しているが、脳における人間の言語処理との関係は依然として不明である。本論文では、LMと脳の間のギャップとオーバーラップについて様々な分析レベルで検証し、入出力動作を超えてこれらのシステムの内部プロセスを調べ、比較することの重要性を強調する。スパース性、モジュール性、内部状態、双方向学習といった神経科学からの洞察が、より生物学的に妥当な言語モデルの開発にどのように役立つかを議論する。さらに、LMと人間の認知のギャップを埋めるスケーリング則の役割を探求し、生物システムに類似した効率制約の必要性を強調する。脳の機能をより忠実に模倣したLMを開発することで、人工知能と人間の認知に関する理解の双方を発展させることを目指している。

要約(オリジナル)

Language Models (LMs) have achieved impressive performance on various linguistic tasks, but their relationship to human language processing in the brain remains unclear. This paper examines the gaps and overlaps between LMs and the brain at different levels of analysis, emphasizing the importance of looking beyond input-output behavior to examine and compare the internal processes of these systems. We discuss how insights from neuroscience, such as sparsity, modularity, internal states, and interactive learning, can inform the development of more biologically plausible language models. Furthermore, we explore the role of scaling laws in bridging the gap between LMs and human cognition, highlighting the need for efficiency constraints analogous to those in biological systems. By developing LMs that more closely mimic brain function, we aim to advance both artificial intelligence and our understanding of human cognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL