The Sociolinguistic Foundations of Language Modeling

要約

この論文では、言語モデリングに関する社会言語学的観点を紹介します。
私たちは、大規模な言語モデルは本質的にさまざまな言語のモデルであると主張し、この洞察が大規模な言語モデルの開発と展開にどのように役立つかを検討します。
私たちは、社会言語学で開発されたさまざまな言語の概念の技術的定義を提示することから始めます。
次に、この視点が、言語モデリングにおける 5 つの基本的な課題 (社会的バイアス、ドメイン適応、調整、言語変更、スケール) にどのように対処できるかについて説明します。
最終的に、大規模な言語モデルのパフォーマンスと社会的価値を最大化するには、モデル化される言語の特定の種類を正確に表すトレーニング コーパスを慎重に定義してコンパイルすることが重要であると私たちは主張します。

要約(オリジナル)

In this paper, we introduce a sociolinguistic perspective on language modeling. We claim that large language models are inherently models of varieties of language, and we consider how this insight can inform the development and deployment of large language models. We begin by presenting a technical definition of the concept of a variety of language as developed in sociolinguistics. We then discuss how this perspective can help address five basic challenges in language modeling: social bias, domain adaptation, alignment, language change, and scale. Ultimately, we argue that it is crucial to carefully define and compile training corpora that accurately represent the specific varieties of language being modeled to maximize the performance and societal value of large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google