Verbing Weirds Language (Models): Evaluation of English Zero-Derivation in Five LLMs

要約

変換 (またはゼロ導出) という形での語彙構文の柔軟性は、英語形態学の特徴です。
変換では、ある品詞を持つ単語が非プロトタイプのコンテキストに配置され、別の品詞があるかのように動作することが強制されます。
ただし、このプロセスは英語辞書の大部分に影響を及ぼしますが、言語モデルがこの種の一般化をどの程度捉えているかを確立するための研究はほとんど行われていません。
この論文は、変換に関する大規模言語モデルの動作に関する最初の研究を報告します。
語彙構文の柔軟性、つまり原型ではない品詞を含む構造内の単語をモデルがどの程度一般化できるかをテストするタスクを設計します。
このタスクは、自然言語推論パラダイム内に位置します。
私たちは 5 つの言語モデル (2 つの独自モデル (GPT-3.5 および GPT-4)、3 つのオープンソース モデル (Mistral 7B、Falcon 40B、および Llama 2 70B)) の機能をテストします。
このタスクでは GPT-4 が最も優れたパフォーマンスを示し、次に GPT-3.5 が続きますが、オープンソース言語モデルでもこの​​タスクを実行でき、7B パラメーター Mistral は自然言語推論のベースライン パフォーマンスとほとんど差が見られないことがわかりました。
タスクと、大規模な GPT-4 としての非プロトタイプ構文カテゴリ タスク。

要約(オリジナル)

Lexical-syntactic flexibility, in the form of conversion (or zero-derivation) is a hallmark of English morphology. In conversion, a word with one part of speech is placed in a non-prototypical context, where it is coerced to behave as if it had a different part of speech. However, while this process affects a large part of the English lexicon, little work has been done to establish the degree to which language models capture this type of generalization. This paper reports the first study on the behavior of large language models with reference to conversion. We design a task for testing lexical-syntactic flexibility — the degree to which models can generalize over words in a construction with a non-prototypical part of speech. This task is situated within a natural language inference paradigm. We test the abilities of five language models — two proprietary models (GPT-3.5 and GPT-4), three open-source models (Mistral 7B, Falcon 40B, and Llama 2 70B). We find that GPT-4 performs best on the task, followed by GPT-3.5, but that the open source language models are also able to perform it and that the 7B parameter Mistral displays as little difference between its baseline performance on the natural language inference task and the non-prototypical syntactic category task, as the massive GPT-4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google