What We Talk About When We Talk About LMs: Implicit Paradigm Shifts and the Ship of Language Models

要約

言語モデル (LM) という用語は、対象となるモデルの時間固有のコレクションとして、$\textit{テセウスの船}$ が部品を置き換えても本質的には同じ船であるのと同じように、その参照対象が更新され、常に再発明されます。
この論文では、この $\textit{言語モデルのシップ}$ 問題を調査します。この問題では、科学の進化は主要な既存用語の継続的かつ暗黙的な改良の形をとっています。
私たちは、よりよく研究された新しい用語の出現に加えて、科学の進歩に対する新しい視点を開始することを目指しています。
この目的のために、私たちは最近の NLP 出版物に基づいてデータ インフラストラクチャを構築します。
次に、専門用語としての言語モデルの使用を詳細かつ定量的に理解するために、一連のテキストベースの分析を実行します。
私たちの研究は、科学的議論においてシステムと理論がどのように相互に影響を与えるかを強調しており、私たち全員が貢献しているこの船の変革に注目するよう呼びかけています。

要約(オリジナル)

The term Language Models (LMs), as a time-specific collection of models of interest, is constantly reinvented, with its referents updated much like the $\textit{Ship of Theseus}$ replaces its parts but remains the same ship in essence. In this paper, we investigate this $\textit{Ship of Language Models}$ problem, wherein scientific evolution takes the form of continuous, implicit retrofits of key existing terms. We seek to initiate a novel perspective of scientific progress, in addition to the more well-studied emergence of new terms. To this end, we construct the data infrastructure based on recent NLP publications. Then, we perform a series of text-based analyses toward a detailed, quantitative understanding of the use of Language Models as a term of art. Our work highlights how systems and theories influence each other in scientific discourse, and we call for attention to the transformation of this Ship that we all are contributing to.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google