Large Linguistic Models: Analyzing theoretical linguistic abilities of LLMs

要約

最近、大規模言語モデル (LLM) のパフォーマンスが向上し、モデルが多くの言語タスクで適切に実行できるようになりました。
ここで我々は、このモデルが言語データの一貫性のある有効な形式分析も生成できることを初めて示し、メタ言語能力の分析における大規模な言語モデルの膨大な可能性を示しています。
LLM は主にテキスト形式の言語データでトレーニングされます。
彼らのメタ言語能力を分析し評価することは、彼らの一般的な能力についての理解を深め、言語学の理論モデルに新たな光を当てます。
この論文では、形式言語学の 3 つのサブフィールド (構文、音韻論、意味論) に焦点を当て、GPT-4 のメタ言語機能を調査します。
私たちは、大規模な言語モデルのメタ言語分析のための研究プログラムの概要を説明し、実験計画を提案し、一般的なガイドラインを提供し、限界について議論し、この分野の研究の将来の方向性を提案します。
この一連の調査は、モデルの表現が内部表現ではなく明示的なプロンプトによってアクセスされる深層学習の動作の解釈可能性も例示しています。

要約(オリジナル)

The performance of large language models (LLMs) has recently improved to the point where the models can perform well on many language tasks. We show here that for the first time, the models can also generate coherent and valid formal analyses of linguistic data and illustrate the vast potential of large language models for analyses of their metalinguistic abilities. LLMs are primarily trained on language data in the form of text; analyzing and evaluating their metalinguistic abilities improves our understanding of their general capabilities and sheds new light on theoretical models in linguistics. In this paper, we probe into GPT-4’s metalinguistic capabilities by focusing on three subfields of formal linguistics: syntax, phonology, and semantics. We outline a research program for metalinguistic analyses of large language models, propose experimental designs, provide general guidelines, discuss limitations, and offer future directions for this line of research. This line of inquiry also exemplifies behavioral interpretability of deep learning, where models’ representations are accessed by explicit prompting rather than internal representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google