Are formal and functional linguistic mechanisms dissociated in language models?

要約

大規模な言語モデル（LLM）はますます能力がありますが、これらの機能は不均一に分散されています。流fluent的で文法的なテキストの作成などの正式な言語タスクに優れていますが、推論や一貫した事実検索などの機能的な言語タスクとより闘っています。
神経科学に触発された最近の研究は、正式な言語タスクと機能的言語タスクの両方で成功するためには、LLMがそれぞれに異なるメカニズムを使用する必要があることを示唆しています。
このようなローカリゼーションは、トレーニングを通じて組み込まれるか、自発的に出現することができます。
この論文では、次のように尋ねます。現在のモデルは、機能的な言語能力を急速に改善することで、形式的および機能的言語メカニズムの明確な局在を示しますか？
「回路」または最小限の計算サブグラフを見つけて比較することにより、これに答えます。これは、さまざまな形式的および機能的なタスクを担当します。
10個の異なるタスクにわたって5 LLMを比較すると、正式なタスクと機能的タスクの回路間には実際にはほとんど重複がありませんが、人間の脳に存在するように、正式な言語タスク間にはほとんど重複がないことがわかります。
したがって、機能的なタスク回路とは異なる単一の正式な言語ネットワークは、とらえどころのないままです。
ただし、クロスタスクの忠実さ – ある回路が別のタスクを解決する能力の能力 – 正式なメカニズムと機能的メカニズムの分離を観察し、正式なタスク間の共有メカニズムが存在する可能性があることを示唆しています。

要約(オリジナル)

Although large language models (LLMs) are increasingly capable, these capabilities are unevenly distributed: they excel at formal linguistic tasks, such as producing fluent, grammatical text, but struggle more with functional linguistic tasks like reasoning and consistent fact retrieval. Inspired by neuroscience, recent work suggests that to succeed on both formal and functional linguistic tasks, LLMs should use different mechanisms for each; such localization could either be built-in or emerge spontaneously through training. In this paper, we ask: do current models, with fast-improving functional linguistic abilities, exhibit distinct localization of formal and functional linguistic mechanisms? We answer this by finding and comparing the ‘circuits’, or minimal computational subgraphs, responsible for various formal and functional tasks. Comparing 5 LLMs across 10 distinct tasks, we find that while there is indeed little overlap between circuits for formal and functional tasks, there is also little overlap between formal linguistic tasks, as exists in the human brain. Thus, a single formal linguistic network, unified and distinct from functional task circuits, remains elusive. However, in terms of cross-task faithfulness – the ability of one circuit to solve another’s task – we observe a separation between formal and functional mechanisms, suggesting that shared mechanisms between formal tasks may exist.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google