Negation: A Pink Elephant in the Large Language Models’ Room?

要約

否定は、文の意味を決定するための鍵であり、論理的な推論に不可欠です。
それらの重要性にもかかわらず、否定は大規模な言語モデル（LLM）に大きな課題をもたらし、露出していないままです。
否定が異なる\ textit {ペア付き}の例を使用して、2つの多言語自然言語推論（NLI）データセットを構築します。
人気のあるLLMを評価することにより、モデルのサイズと言語が否定を正しく処理する能力にどのように影響するかを調査します。
以前の研究とは反対に、モデルサイズを増やすと、モデルの否定を処理する能力が一貫して改善されることが示されます。
さらに、モデルの推論の精度と否定に対する堅牢性の両方が言語依存性であり、前提の長さと明示性が言語よりも堅牢性に大きな影響を与えることがわかります。
当社のデータセットは、多言語設定での言語モデルの推論のさらなる研究と改善を促進することができます。

要約(オリジナル)

Negations are key to determining sentence meaning, making them essential for logical reasoning. Despite their importance, negations pose a substantial challenge for large language models (LLMs) and remain underexplored. We construct two multilingual natural language inference (NLI) datasets with \textit{paired} examples differing in negation. We investigate how model size and language impact its ability to handle negation correctly by evaluating popular LLMs. Contrary to previous work, we show that increasing the model size consistently improves the models’ ability to handle negations. Furthermore, we find that both the models’ reasoning accuracy and robustness to negation are language-dependent and that the length and explicitness of the premise have a greater impact on robustness than language. Our datasets can facilitate further research and improvements of language model reasoning in multilingual settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google