Using the Tools of Cognitive Science to Understand Large Language Models at Different Levels of Analysis

要約

大規模な言語モデルなどの最新の人工知能システムは、ますます強力になっていますが、理解するのもますます困難になっています。
この問題を人間の心を理解する際の歴史的な困難に類似していると認識すると、認知科学で開発された方法は大規模な言語モデルを理解するのに役立つと主張します。
Marrの3つのレベルの分析に基づいて、これらのメソッドを適用するためのフレームワークを提案します。
各レベルに関連する確立された認知科学技術を再検討し、大規模な言語モデルの行動と内部組織に関する洞察を生み出す可能性を説明することにより、これらの新しい種類の心を理解するためのツールキットを提供することを目指しています。

要約(オリジナル)

Modern artificial intelligence systems, such as large language models, are increasingly powerful but also increasingly hard to understand. Recognizing this problem as analogous to the historical difficulties in understanding the human mind, we argue that methods developed in cognitive science can be useful for understanding large language models. We propose a framework for applying these methods based on Marr’s three levels of analysis. By revisiting established cognitive science techniques relevant to each level and illustrating their potential to yield insights into the behavior and internal organization of large language models, we aim to provide a toolkit for making sense of these new kinds of minds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google