The potential — and the pitfalls — of using pre-trained language models as cognitive science theories

要約

多くの研究が、事前訓練済み言語モデル (PLM) の認知的整合性、つまり、さまざまな認知領域にわたる成人のパフォーマンスとの対応を評価しています。
最近では、これらのモデルの発達上の調整に焦点が拡大されています。つまり、モデルのパフォーマンスの向上が、発達に対する子供の思考の向上を追跡するトレーニング中の段階の特定です。
ただし、認知科学理論として PLM を使用するには、アーキテクチャの違い、トレーニング データのモダリティとスケールの違い、モデルの解釈可能性の制限など、多くの課題があります。
この論文では、PLM をエンジニアリング成果物としてではなく、認知科学および発達科学モデルとして扱うことから得られた教訓を抽出します。
私たちは、PLM パフォーマンスの尺度を人間のパフォーマンスの尺度にマッピングするために研究者が使用した仮定をレビューします。
私たちは人間の思考を理解するためのこのアプローチの潜在的な落とし穴を特定し、最後に認知と認知発達の信頼できる説明として PLM を使用するための基準を列挙します。

要約(オリジナル)

Many studies have evaluated the cognitive alignment of Pre-trained Language Models (PLMs), i.e., their correspondence to adult performance across a range of cognitive domains. Recently, the focus has expanded to the developmental alignment of these models: identifying phases during training where improvements in model performance track improvements in children’s thinking over development. However, there are many challenges to the use of PLMs as cognitive science theories, including different architectures, different training data modalities and scales, and limited model interpretability. In this paper, we distill lessons learned from treating PLMs, not as engineering artifacts but as cognitive science and developmental science models. We review assumptions used by researchers to map measures of PLM performance to measures of human performance. We identify potential pitfalls of this approach to understanding human thinking, and we end by enumerating criteria for using PLMs as credible accounts of cognition and cognitive development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google