Non-literal Understanding of Number Words by Language Models

要約

人間は自然に数字を非文字で解釈し、コンテキスト、世界の知識、スピーカーの意図を簡単に組み合わせて解釈します。
大規模な言語モデル（LLM）が同様に数字を解釈し、誇張および実用的なハロー効果に焦点を当てているかどうかを調査します。
人間のデータとの体系的な比較および実用的な推論の計算モデルを通じて、LLMは人間の解釈から顕著な方法で分岐することがわかります。
合理的な音声行為のフレームワークに基づいた実用的な推論をテスト可能なコンポーネントに分解することにより、LLM処理が人間の認知から分岐する場所を特定することにより – 事前の知識ではなく、それと推論することです。
この洞察は、ターゲットを絞ったソリューションを開発することにつながります。RSAモデルに触発されたチェーンオブサボートプロンプトは、LLMSの解釈をより人間のようにします。
私たちの研究は、計算認知モデルがAIヒトの違いを診断し、より人間のような言語理解能力の開発を導く方法を示しています。

要約(オリジナル)

Humans naturally interpret numbers non-literally, effortlessly combining context, world knowledge, and speaker intent. We investigate whether large language models (LLMs) interpret numbers similarly, focusing on hyperbole and pragmatic halo effects. Through systematic comparison with human data and computational models of pragmatic reasoning, we find that LLMs diverge from human interpretation in striking ways. By decomposing pragmatic reasoning into testable components, grounded in the Rational Speech Act framework, we pinpoint where LLM processing diverges from human cognition — not in prior knowledge, but in reasoning with it. This insight leads us to develop a targeted solution — chain-of-thought prompting inspired by an RSA model makes LLMs’ interpretations more human-like. Our work demonstrates how computational cognitive models can both diagnose AI-human differences and guide development of more human-like language understanding capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google