Diagnostics for Deep Neural Networks with Automated Copy/Paste Attacks

要約

【タイトル】オートマチックコピペ攻撃を使用した深層ニューラルネットワーク診断

【要約】
– 本論文は、人間が深層ニューラルネットワーク（DNN）をスケーラブルに監督するための問題を考慮する。
– 以前の研究では、自然画像を貼り付けて予期しない誤分類を引き起こすcopy/paste攻撃を含む、人間が理解できる敵対攻撃を使用することが提案されていた。
– 本研究では、Copy/Paste攻撃を自動的に見つけるためのSearch for Natural Adversarial Features Using Embeddings（SNAFUE）を導入する。
– さらに、SNAFUEを使用してImagenet分類器に対するred teamを構築する。
– 以前の研究からCopy/Paste攻撃を再現し、人間を介さずに数百もの容易に説明可能な脆弱性を発見した。
– コードはhttps://github.com/thestephencasper/snafueで利用可能。

要約(オリジナル)

This paper considers the problem of helping humans exercise scalable oversight over deep neural networks (DNNs). Adversarial examples can be useful by helping to reveal weaknesses in DNNs, but they can be difficult to interpret or draw actionable conclusions from. Some previous works have proposed using human-interpretable adversarial attacks including copy/paste attacks in which one natural image pasted into another causes an unexpected misclassification. We build on these with two contributions. First, we introduce Search for Natural Adversarial Features Using Embeddings (SNAFUE) which offers a fully automated method for finding copy/paste attacks. Second, we use SNAFUE to red team an ImageNet classifier. We reproduce copy/paste attacks from previous works and find hundreds of other easily-describable vulnerabilities, all without a human in the loop. Code is available at https://github.com/thestephencasper/snafue

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI