Defending Against Misinformation Attacks in Open-Domain Question Answering

要約

オープンドメイン質問応答 (ODQA) における最近の研究では、検索コレクションの敵対的ポイズニングが実稼働システムの精度の大幅な低下を引き起こす可能性があることがわかっています。
しかし、これらの攻撃を防御する方法を提案した研究はほとんどありません。
これを行うには、大規模なコーパスには冗長な情報が存在することが多いという直観に頼ります。
それを見つけるために、クエリ拡張を使用して、元の質問に答える可能性はあるが、ポイズニングされている可能性が低いさ​​まざまな文章のセットを検索する方法を導入します。
私たちは、新しい信頼方法の設計を通じてこれらの新しいパッセージをモデルに統合し、予測された回答と取得されたコンテキストでの出現を比較します (\textit{回答の冗長性からの信頼度}、つまり CAR)。
これらの方法を組み合わせることで、ポイズニング攻撃を防御するシンプルかつ効果的な方法が可能になり、さまざまなレベルのデータ ポイズニング/知識の競合全体でほぼ 20% の完全一致が得られます。

要約(オリジナル)

Recent work in open-domain question answering (ODQA) has shown that adversarial poisoning of the search collection can cause large drops in accuracy for production systems. However, little to no work has proposed methods to defend against these attacks. To do so, we rely on the intuition that redundant information often exists in large corpora. To find it, we introduce a method that uses query augmentation to search for a diverse set of passages that could answer the original question but are less likely to have been poisoned. We integrate these new passages into the model through the design of a novel confidence method, comparing the predicted answer to its appearance in the retrieved contexts (what we call \textit{Confidence from Answer Redundancy}, i.e. CAR). Together these methods allow for a simple but effective way to defend against poisoning attacks that provides gains of nearly 20\% exact match across varying levels of data poisoning/knowledge conflicts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google