Verifying the Robustness of Automatic Credibility Assessment

要約

テキスト分類方法は、フェイク ニュース、ソーシャル メディア ボット、プロパガンダなど、信頼性の低いコンテンツを検出する方法として広く研究されています。非常に正確なモデル (ディープ ニューラル ネットワークに基づいていると考えられます) は、公共の電子プラットフォームの管理に役立ち、コンテンツ作成者の迷惑になることがよくあります。
投稿の拒否またはすでに公開されたテキストの削除に直面することになります。
コンテンツ作成者は、さらなる検出を回避する動機を持って、分類子の弱点を突いて異なる出力をもたらす、テキストのわずかに変更されたバージョン (敵対的な例による攻撃として知られています) を考え出そうとします。
ここでは、利用可能な攻撃手法に対する一般的なテキスト分類子の堅牢性を体系的にテストし、実際、場合によっては入力テキストのわずかな変更がモデルを誤解させる可能性があることを発見しました。
また、BODEGA も紹介します。BODEGA は、コンテンツモデレーションの実際のユースケースをシミュレートするように設計された評価フレームワークで、4 つの誤情報検出タスクで被害者モデルと攻撃手法の両方をテストするためのベンチマークです。
最後に、敵対的な例のサブセットを手動で分析し、成功した攻撃でどのような種類の変更が使用されているかを確認します。
BODEGA のコードとデータは、この分野におけるさらなる研究の比較可能性と再現性を高めることを期待してオープンに共有されています。

要約(オリジナル)

Text classification methods have been widely investigated as a way to detect content of low credibility: fake news, social media bots, propaganda, etc. Quite accurate models (likely based on deep neural networks) help in moderating public electronic platforms and often cause content creators to face rejection of their submissions or removal of already published texts. Having the incentive to evade further detection, content creators try to come up with a slightly modified version of the text (known as an attack with an adversarial example) that exploit the weaknesses of classifiers and result in a different output. Here we systematically test the robustness of popular text classifiers against available attacking techniques and discover that, indeed, in some cases insignificant changes in input text can mislead the models. We also introduce BODEGA: a benchmark for testing both victim models and attack methods on four misinformation detection tasks in an evaluation framework designed to simulate real use-cases of content moderation. Finally, we manually analyse a subset adversarial examples and check what kinds of modifications are used in successful attacks. The BODEGA code and data is openly shared in hope of enhancing the comparability and replicability of further research in this area

arxiv情報

提供元, 利用サービス

arxiv.jp, Google