On General Language Understanding

要約

自然言語処理は、完全な経験主義的分野ではないにしても、経験主義的な分野であることを誇りに思っていますが、最近では、意味と測定の問題に関する本質主義的な議論に巻き込まれているようです (「大規模言語モデルは言語を理解するのか、そうならどのくらい理解するのか」)
?’)。
これは偶然ではありません。どこでもそうであるように、ここでも証拠が理解を過小評価しています。
この文書では、解決策として、モデルの品質を測定する現在の方法の適切性に対する疑問の根拠となる理解モデルの概要を示します。
この論文は次の 3 つの主張を行っています: A) 異なる言語使用状況タイプには異なる特性があるということ、B) 言語理解は個人主義的プロセスと社会的プロセスを結びつける多面的な現象であるということ、C) 理解指標の選択がベンチマークの限界を示すということ、
そしてNLP利用の倫理に関する検討の始まり。

要約(オリジナル)

Natural Language Processing prides itself to be an empirically-minded, if not outright empiricist field, and yet lately it seems to get itself into essentialist debates on issues of meaning and measurement (‘Do Large Language Models Understand Language, And If So, How Much?’). This is not by accident: Here, as everywhere, the evidence underspecifies the understanding. As a remedy, this paper sketches the outlines of a model of understanding, which can ground questions of the adequacy of current methods of measurement of model quality. The paper makes three claims: A) That different language use situation types have different characteristics, B) That language understanding is a multifaceted phenomenon, bringing together individualistic and social processes, and C) That the choice of Understanding Indicator marks the limits of benchmarking, and the beginnings of considerations of the ethics of NLP use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google