A Philosophical Introduction to Language Models – Part II: The Way Forward

要約

本論文は、2部構成の第2部であり、第1部で取り上げた古典的な議論を超えて、大規模言語モデル（LLM）の最近の進歩が提起する新たな哲学的問題を探求する。特に解釈可能性に関する問題に焦点を当て、LLMの内部表現と計算の性質に関する因果関係介入手法からの証拠を検証する。また、LLMのマルチモーダルな拡張やモジュラーな拡張の意味、そのようなシステムが意識の最小限の基準を満たすかどうかについての最近の議論、LLM研究における秘密性と再現性に関する懸念についても議論する。最後に、LLMのようなシステムは、そのアーキテクチャ特性と学習シナリオが適切に制約されている場合、人間の認知の側面のモデリングに関連する可能性があるかどうかについて議論する。

要約(オリジナル)

In this paper, the second of two companion pieces, we explore novel philosophical questions raised by recent progress in large language models (LLMs) that go beyond the classical debates covered in the first part. We focus particularly on issues related to interpretability, examining evidence from causal intervention methods about the nature of LLMs’ internal representations and computations. We also discuss the implications of multimodal and modular extensions of LLMs, recent debates about whether such systems may meet minimal criteria for consciousness, and concerns about secrecy and reproducibility in LLM research. Finally, we discuss whether LLM-like systems may be relevant to modeling aspects of human cognition, if their architectural characteristics and learning scenario are adequately constrained.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL