Limits for Learning with Language Models

要約

大規模言語モデル (LLM) の出現により、NLP のトレンドは、多様な言語理解および生成タスクを解決するために、膨大な量のデータで LLM をトレーニングすることになりました。
LLM の成功リストは長く、多岐にわたります。
それにもかかわらず、いくつかの最近の論文は、LLM が言語的意味の重要な側面を捉えていないという経験的証拠を提供しています。
普遍的定量化に焦点を当て、LLM は形式的意味論で定義されている意味的含意や一貫性などの特定の基本的な意味論的特性を学習できないことを証明することで、これらの経験的発見に理論的基盤を提供します。
より一般的には、LLM は Borel 階層の最初のレベルを超えて概念を学習することができないことを示します。これにより、大小を問わず LM が言語的意味の多くの側面を捉える能力に厳しい制限が課せられます。
これは、LLM が含意と深い言語理解を必要とするタスクに関して正式な保証なしで動作し続けることを意味します。

要約(オリジナル)

With the advent of large language models (LLMs), the trend in NLP has been to train LLMs on vast amounts of data to solve diverse language understanding and generation tasks. The list of LLM successes is long and varied. Nevertheless, several recent papers provide empirical evidence that LLMs fail to capture important aspects of linguistic meaning. Focusing on universal quantification, we provide a theoretical foundation for these empirical findings by proving that LLMs cannot learn certain fundamental semantic properties including semantic entailment and consistency as they are defined in formal semantics. More generally, we show that LLMs are unable to learn concepts beyond the first level of the Borel Hierarchy, which imposes severe limits on the ability of LMs, both large and small, to capture many aspects of linguistic meaning. This means that LLMs will continue to operate without formal guarantees on tasks that require entailments and deep linguistic understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google