Negated Complementary Commonsense using Large Language Models

要約

GPT-3 などのより大きな言語モデルは、多くのタスクにおいて優れていることが示されています。
ただし、突飛な質問によってモデルが不意を突かれる可能性があることを示します。
この研究は、常識的なシナリオで否定された補足的な質問に対する答えを見つけることに焦点を当てています。
このような質問がモデルの応答にどのように悪影響を与えるかを説明します。
否定された補完シナリオでのパフォーマンスを向上させるためのモデルに依存しない方法論を提案します。
私たちの方法は、GPT-3 からの少数ショット生成より (11 ポイント以上) 優れており、さらに重要なことに、否定された相補的な質問における大規模な言語モデルの応答を研究することの重要性を強調しています。
コード、データ、実験は https://github.com/navidre/negated_complementary_commonsense から入手できます。

要約(オリジナル)

Larger language models, such as GPT-3, have shown to be excellent in many tasks. However, we demonstrate that out-of-ordinary questions can throw the model off guard. This work focuses on finding answers to negated complementary questions in commonsense scenarios. We illustrate how such questions adversely affect the model responses. We propose a model-agnostic methodology to improve the performance in negated complementary scenarios. Our method outperforms few-shot generation from GPT-3 (by more than 11 points) and, more importantly, highlights the significance of studying the response of large language models in negated complementary questions. The code, data, and experiments are available under: https://github.com/navidre/negated_complementary_commonsense.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google