How Well Do Large Language Models Understand Syntax? An Evaluation by Asking Natural Language Questions

要約

大規模言語モデル (LLM) の最近の進歩により、汎用人工知能の実現に近づいていますが、LLM は本当に言語を理解しているのでしょうか、それともパターン認識を通じて理解を模倣しているだけなのでしょうか?という疑問は残ります。
この研究は、文理解の重要な要素である構文のレンズを通してこの疑問を探ることを目指しています。
自然言語の質問応答 (Q&A) スキームを採用し、文の理解に最も密接に関連する 9 つの構文知識ポイントを対象とした質問を作成します。
24 個の LLM に対して行われた実験では、ほとんどの LLM が構文知識を限定的にしか把握しておらず、さまざまな構文知識ポイント間で顕著な不一致が見られることが示唆されています。
特に、前置詞句の付加に関する質問は最大の課題となりますが、形容詞修飾語や間接目的語に関する質問は、LLM にとって比較的容易に処理できます。
さらに、LLM のトレーニングのダイナミクスに関するケーススタディでは、構文知識の大部分がトレーニングの初期段階で学習されることが明らかになり、トレーニング トークンの数を増やすだけでは理解力を向上させる「特効薬」ではない可能性があることが示唆されています。
LLMの。

要約(オリジナル)

While recent advancements in large language models (LLMs) bring us closer to achieving artificial general intelligence, the question persists: Do LLMs truly understand language, or do they merely mimic comprehension through pattern recognition? This study seeks to explore this question through the lens of syntax, a crucial component of sentence comprehension. Adopting a natural language question-answering (Q&A) scheme, we craft questions targeting nine syntactic knowledge points that are most closely related to sentence comprehension. Experiments conducted on 24 LLMs suggest that most have a limited grasp of syntactic knowledge, exhibiting notable discrepancies across different syntactic knowledge points. In particular, questions involving prepositional phrase attachment pose the greatest challenge, whereas those concerning adjectival modifier and indirect object are relatively easier for LLMs to handle. Furthermore, a case study on the training dynamics of the LLMs reveals that the majority of syntactic knowledge is learned during the initial stages of training, hinting that simply increasing the number of training tokens may not be the `silver bullet’ for improving the comprehension ability of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google