From Text to Multimodal: A Comprehensive Survey of Adversarial Example Generation in Question Answering Systems

要約

敵対的機械学習と質問応答 (QA) システムの統合は、これらのシステムの脆弱性と堅牢性を理解するための重要な領域として浮上しています。
この記事は、テキストおよびマルチモーダル コンテキストを含む、QA 分野における敵対的な例の生成手法を包括的にレビューすることを目的としています。
体系的な分類を通じて採用されたテクニックを検証し、包括的で構造化されたレビューを提供します。
従来の QA モデルの概要から始めて、ルールベースの摂動と高度な生成モデルを調査することで、敵対的な例の生成を横断します。
次に、研究をマルチモーダル QA システムにまで拡張し、さまざまな方法で分析し、生成モデル、seq2seq アーキテクチャ、およびハイブリッド方法論を検討します。
私たちの研究は、さまざまな防御戦略、敵対的データセット、評価指標にまで広がり、敵対的 QA に関する包括的な文献を説明しています。
最後に、この論文は敵対的質問生成の将来の展望を考察し、敵対的課題の文脈においてテキストおよびマルチモーダル QA システムを前進させる可能性のある研究の方向性を強調しています。

要約(オリジナル)

Integrating adversarial machine learning with Question Answering (QA) systems has emerged as a critical area for understanding the vulnerabilities and robustness of these systems. This article aims to comprehensively review adversarial example-generation techniques in the QA field, including textual and multimodal contexts. We examine the techniques employed through systematic categorization, providing a comprehensive, structured review. Beginning with an overview of traditional QA models, we traverse the adversarial example generation by exploring rule-based perturbations and advanced generative models. We then extend our research to include multimodal QA systems, analyze them across various methods, and examine generative models, seq2seq architectures, and hybrid methodologies. Our research grows to different defense strategies, adversarial datasets, and evaluation metrics and illustrates the comprehensive literature on adversarial QA. Finally, the paper considers the future landscape of adversarial question generation, highlighting potential research directions that can advance textual and multimodal QA systems in the context of adversarial challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google