Large language models and (non-)linguistic recursion

要約

再帰は人間の言語の特徴の 1 つです。
言語の多くの設計上の特徴が動物のコミュニケーション システムに存在することが示されていますが、再帰には存在しません。
以前の研究では、GPT-4 がメタ言語能力を示す最初の大規模言語モデル (LLM) であることが示されています (Begu\v{s}、D\k{a}bkowski、Rhodes 2023)。
ここでは、言語的および非言語的両方の LLM における再帰的動作を引き出し、分析することを目的としたいくつかのプロンプト設計を提案します。
明示的に指示された場合、GPT-4 は再帰構造の生成と分析の両方ができることを示します。
したがって、我々は、GPT-4 のような多数のパラメーターを持つトランスフォーマーにおいて、再帰に対するメタ言語的認識 (人間特有の認知特性) が現れるかどうかを調査した最初の研究の 1 つを紹介します。

要約(オリジナル)

Recursion is one of the hallmarks of human language. While many design features of language have been shown to exist in animal communication systems, recursion has not. Previous research shows that GPT-4 is the first large language model (LLM) to exhibit metalinguistic abilities (Begu\v{s}, D\k{a}bkowski, and Rhodes 2023). Here, we propose several prompt designs aimed at eliciting and analyzing recursive behavior in LLMs, both linguistic and non-linguistic. We demonstrate that when explicitly prompted, GPT-4 can both produce and analyze recursive structures. Thus, we present one of the first studies investigating whether meta-linguistic awareness of recursion — a uniquely human cognitive property — can emerge in transformers with a high number of parameters such as GPT-4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google