Theoretical and Methodological Framework for Studying Texts Produced by Large Language Models

要約

この論文では、大規模言語モデル (LLM) とそれが生成するテキストを量的言語学の観点から研究する際の概念的、方法論的、技術的な課題について取り上げます。
これは、基板としての LLM とモデルがシミュレートするエンティティを区別する理論的フレームワークに基づいて構築されています。
この論文では、人間の言語行動を研究する際に使用される方法論をシミュレートされたエンティティに慎重に適用しながら、モデルに対して厳密に非擬人化的なアプローチを提唱しています。
自然言語処理の研究者は、モデル自体、そのアーキテクチャ、評価、パフォーマンスを向上させる方法に焦点を当てていますが、私たち量的言語学者は、LLM によって生成されたテキストの特性、人間が生成したテキストとどのように異なるかについて、堅牢な理論を構築するよう努める必要があります。
、およびシミュレートされたエンティティのプロパティ。
さらに、言語が不可欠な部分である人間の文化を研究するための手段としての LLM の可能性を探求する必要があります。

要約(オリジナル)

This paper addresses the conceptual, methodological and technical challenges in studying large language models (LLMs) and the texts they produce from a quantitative linguistics perspective. It builds on a theoretical framework that distinguishes between the LLM as a substrate and the entities the model simulates. The paper advocates for a strictly non-anthropomorphic approach to models while cautiously applying methodologies used in studying human linguistic behavior to the simulated entities. While natural language processing researchers focus on the models themselves, their architecture, evaluation, and methods for improving performance, we as quantitative linguists should strive to build a robust theory concerning the characteristics of texts produced by LLMs, how they differ from human-produced texts, and the properties of simulated entities. Additionally, we should explore the potential of LLMs as an instrument for studying human culture, of which language is an integral part.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google