From task structures to world models: What do LLMs know?

要約

大規模な言語モデルはどのような意味で知識を持っているのでしょうか?
この質問に対する答えは、特定の AI システムの能力を超えており、知識と知能の性質についての私たちの仮定に疑問を投げかけます。
私たちは、LLM に「手段となる知識」を与えることで答えます。
特定の能力セットによって定義される知識。
次に、そのような知識が、人間のエージェントによって示されるより一般的な「世界的な」知識とどのように関連しているかを尋ね、道具的知識が認知科学の構造化された世界モデルをどの程度組み込んでいると言えるかという観点からこれを探ります。
私たちは、LLM がある程度の世界的知識を回復する方法について議論し、そのような回復は世界モデルとタスク要求の間の暗黙のリソース合理的なトレードオフによって支配されることを示唆します。

要約(オリジナル)

In what sense does a large language model have knowledge? The answer to this question extends beyond the capabilities of a particular AI system, and challenges our assumptions about the nature of knowledge and intelligence. We answer by granting LLMs ‘instrumental knowledge’; knowledge defined by a certain set of abilities. We then ask how such knowledge is related to the more ordinary, ‘worldly’ knowledge exhibited by human agents, and explore this in terms of the degree to which instrumental knowledge can be said to incorporate the structured world models of cognitive science. We discuss ways LLMs could recover degrees of worldly knowledge, and suggest such recovery will be governed by an implicit, resource-rational tradeoff between world models and task demands.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google