Logical Negation Augmenting and Debiasing for Prompt-based Methods

要約

プロンプトベースの手法は NLP でますます注目を集めており、多くの下流タスクで有効性が示されています。
多くの研究は、これらの方法の知識抽出の可能性を探ることに焦点を当ててきましたが、論理的推論を行う能力を調査したものはほとんどありません。
この研究では、一次論理推論におけるプロンプトベースの手法の有効性に焦点を当て、ボトルネックが論理否定にあることを発見しました。
私たちの分析によると、論理否定は否定的な答えとの誤った相関関係をもたらす傾向があり、論理的否定のない命題は肯定的な答えと相関関係を持ちます。
この問題を解決するために、パラメータを更新せずにプロンプ​​トベースの手法に否定命題を導入する、シンプルだが効果的な手法である否定拡張および否定バイアス除去 (NAND) を提案します。
具体的には、これらの否定命題は、式に論理否定が含まれるかどうかだけでモデルが決定できないように、すべてのインスタンスに「not」を提供することで偽の相関を打ち消すことができます。
3 つのデータセットでの実験では、NAND が論理否定の調整の問題を解決するだけでなく、モデルの再トレーニングを必要とせずに論理推論のプロンプトベースの方法を大幅に強化することも示しています。

要約(オリジナル)

Prompt-based methods have gained increasing attention on NLP and shown validity on many downstream tasks. Many works have focused on mining these methods’ potential for knowledge extraction, but few explore their ability to make logical reasoning. In this work, we focus on the effectiveness of the prompt-based methods on first-order logical reasoning and find that the bottleneck lies in logical negation. Based on our analysis, logical negation tends to result in spurious correlations to negative answers, while propositions without logical negation correlate to positive answers. To solve the problem, we propose a simple but effective method, Negation Augmenting and Negation Debiasing (NAND), which introduces negative propositions to prompt-based methods without updating parameters. Specifically, these negative propositions can counteract spurious correlations by providing ‘not’ for all instances so that models cannot make decisions only by whether expressions contain a logical negation. Experiments on three datasets show that NAND not only solves the problem of calibrating logical negation but also significantly enhances prompt-based methods of logical reasoning without model retraining.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google