Defense of Adversarial Ranking Attack in Text Retrieval: Benchmark and Baseline via Detection

要約

ニューラル ランキング モデル (NRM) は大幅な開発を経て、情報検索 (IR) システムの不可欠なコンポーネントになりました。
残念なことに、最近の研究により、敵対的な文書操作に対する NRM の脆弱性が明らかになり、悪意のある検索エンジン最適化の実践者によって悪用される可能性があります。
敵対的攻撃戦略の進歩は、NRM を導入する前に NRM の潜在的な弱点を特定するのに役立ちますが、敵対的文書の検出など、そのような攻撃に対する防御手段は依然として十分に検討されていません。
このギャップを軽減するために、このペーパーでは、敵対的ランキング防御の調査を容易にするベンチマーク データセットを確立し、敵対的ドキュメントの 2 種類の検出タスクを導入します。
いくつかの検出ベースラインのパフォーマンスの包括的な調査が行われます。これには、スパム性、混乱性、および言語的受容性の検査と、教師あり分類器の利用が含まれます。
実験結果は、教師あり分類器は既知の攻撃を効果的に軽減できるが、目に見えない攻撃に対してはパフォーマンスが低いことを示しています。
さらに、このような分類子は、関連性による分類の学習を妨げるためにクエリ テキストの使用を避けるべきです。これは、関連するドキュメントを不用意に破棄する可能性があるためです。

要約(オリジナル)

Neural ranking models (NRMs) have undergone significant development and have become integral components of information retrieval (IR) systems. Unfortunately, recent research has unveiled the vulnerability of NRMs to adversarial document manipulations, potentially exploited by malicious search engine optimization practitioners. While progress in adversarial attack strategies aids in identifying the potential weaknesses of NRMs before their deployment, the defensive measures against such attacks, like the detection of adversarial documents, remain inadequately explored. To mitigate this gap, this paper establishes a benchmark dataset to facilitate the investigation of adversarial ranking defense and introduces two types of detection tasks for adversarial documents. A comprehensive investigation of the performance of several detection baselines is conducted, which involve examining the spamicity, perplexity, and linguistic acceptability, and utilizing supervised classifiers. Experimental results demonstrate that a supervised classifier can effectively mitigate known attacks, but it performs poorly against unseen attacks. Furthermore, such classifier should avoid using query text to prevent learning the classification on relevance, as it might lead to the inadvertent discarding of relevant documents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google