Logical Reasoning for Natural Language Inference Using Generated Facts as Atoms

要約

最先端のニューラル モデルは、さまざまな自然言語理解タスクにわたって人間のパフォーマンス レベルに到達できるようになりました。
ただし、この優れたパフォーマンスにもかかわらず、モデルは基礎となるタスクを犠牲にしてアノテーション アーティファクトから学習することが知られています。
解釈可能性メソッドは各予測に影響を与える特徴を特定できますが、これらの特徴がモデルの決定に関与しているという保証はありません。
代わりに、モデルに依存しない論理フレームワークを導入して、各モデルの決定に関与する入力内の特定の情報を決定します。
この方法では、予測力を維持する、解釈可能な自然言語推論 (NLI) モデルが作成されます。
これは、複雑な NLI 観察を個々の論理アトムに分解するファクトを生成することによって実現されます。
私たちのモデルは各原子の予測を行い、論理ルールを使用して各原子の予測に基づいて観測のクラスを決定します。
私たちはこの手法を非常に困難な ANLI データセットに適用し、フレームワークによって DeBERTa ベースと BERT ベースラインの両方のパフォーマンスが向上します。
私たちの手法は、最も困難な例で最も優れたパフォーマンスを発揮し、ANLI ラウンド 3 テスト セットの新しい最先端を実現します。
データを削減した設定ですべてのベースラインを上回るパフォーマンスを示し、生成されたファクトに注釈を使用していないにもかかわらず、個々のファクトに対するモデルの予測は人間の期待と一致しています。

要約(オリジナル)

State-of-the-art neural models can now reach human performance levels across various natural language understanding tasks. However, despite this impressive performance, models are known to learn from annotation artefacts at the expense of the underlying task. While interpretability methods can identify influential features for each prediction, there are no guarantees that these features are responsible for the model decisions. Instead, we introduce a model-agnostic logical framework to determine the specific information in an input responsible for each model decision. This method creates interpretable Natural Language Inference (NLI) models that maintain their predictive power. We achieve this by generating facts that decompose complex NLI observations into individual logical atoms. Our model makes predictions for each atom and uses logical rules to decide the class of the observation based on the predictions for each atom. We apply our method to the highly challenging ANLI dataset, where our framework improves the performance of both a DeBERTa-base and BERT baseline. Our method performs best on the most challenging examples, achieving a new state-of-the-art for the ANLI round 3 test set. We outperform every baseline in a reduced-data setting, and despite using no annotations for the generated facts, our model predictions for individual facts align with human expectations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google