From Words to Worlds: Compositionality for Cognitive Architectures

要約

大規模言語モデル (LLM) は非常にパフォーマンスの高い接続主義システムですが、より多くの構成性を示しますか?
さらに重要なのは、それが彼らのパフォーマンスが非常に優れている理由の一部なのでしょうか？
4 つの LLM ファミリ (12 モデル) と、以下に紹介する新しいタスクを含む 3 つのタスク カテゴリにわたる実証分析を示します。
私たちの調査結果は、LLM による作曲戦略の学習における微妙な関係を明らかにしています。スケーリングは作曲能力を強化しますが、指導チューニングは多くの場合逆効果です。
このような差異は、人間の認知能力に合わせた大規模な言語モデルの開発と改善に関していくつかの未解決の問題を引き起こします。

要約(オリジナル)

Large language models (LLMs) are very performant connectionist systems, but do they exhibit more compositionality? More importantly, is that part of why they perform so well? We present empirical analyses across four LLM families (12 models) and three task categories, including a novel task introduced below. Our findings reveal a nuanced relationship in learning of compositional strategies by LLMs — while scaling enhances compositional abilities, instruction tuning often has a reverse effect. Such disparity brings forth some open issues regarding the development and improvement of large language models in alignment with human cognitive capacities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google