A negation detection assessment of GPTs: analysis with the xNot360 dataset

要約

否定は自然言語の基本的な側面であり、コミュニケーションと理解において重要な役割を果たします。
私たちの研究では、Generative Pre-trained Transformer (GPT) モデル、具体的には GPT-2、GPT-3、GPT-3.5、および GPT-4 の否定検出パフォーマンスを評価します。
私たちは、カスタム xNot360 データセットに適用されたゼロショット予測アプローチを使用して、自然言語での否定の識別に焦点を当てています。
私たちのアプローチは、2 番目の文が最初の文を否定するかどうかを示すためにラベル付けされた文のペアを調べます。
私たちの調査結果では、GPT モデル間のパフォーマンスに大きな差があることが明らかになり、GPT-4 は対応モデルを上回っていますが、GPT-3.5 ではパフォーマンスが著しく低下しています。
否定検出における GPT モデルの全体的な熟練度は比較的控えめなままであり、このタスクが自然言語理解能力の限界を押し広げていることを示しています。
否定を処理する際の GPT モデルの制約を強調するだけでなく、医療、科学、法律などの一か八かの分野における論理的信頼性の重要性も強調します。

要約(オリジナル)

Negation is a fundamental aspect of natural language, playing a critical role in communication and comprehension. Our study assesses the negation detection performance of Generative Pre-trained Transformer (GPT) models, specifically GPT-2, GPT-3, GPT-3.5, and GPT-4. We focus on the identification of negation in natural language using a zero-shot prediction approach applied to our custom xNot360 dataset. Our approach examines sentence pairs labeled to indicate whether the second sentence negates the first. Our findings expose a considerable performance disparity among the GPT models, with GPT-4 surpassing its counterparts and GPT-3.5 displaying a marked performance reduction. The overall proficiency of the GPT models in negation detection remains relatively modest, indicating that this task pushes the boundaries of their natural language understanding capabilities. We not only highlight the constraints of GPT models in handling negation but also emphasize the importance of logical reliability in high-stakes domains such as healthcare, science, and law.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google