Large Language Models Lack Understanding of Character Composition of Words

要約

大規模言語モデル (LLM) は、幅広い自然言語タスクで顕著なパフォーマンスを実証しています。
しかし、LLM の成功は主に単語、文章、文書に関するタスクに限定されており、テキストの最小単位である文字をどの程度理解しているのかは依然として疑問です。
この論文では、単語の文字構成を理解する能力に関して現代の LLM を調査し、人間が完璧に処理できる単純なタスクですら、それらのほとんどが確実に実行できないことを示します。
トークンレベルのパフォーマンスと比較してそれらの動作を分析し、将来の研究の潜在的な方向性について議論します。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable performances on a wide range of natural language tasks. Yet, LLMs’ successes have been largely restricted to tasks concerning words, sentences, or documents, and it remains questionable how much they understand the minimal units of text, namely characters. In this paper, we examine contemporary LLMs regarding their ability to understand character composition of words, and show that most of them fail to reliably carry out even the simple tasks that can be handled by humans with perfection. We analyze their behaviors with comparison to token level performances, and discuss the potential directions for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google