Overcoming Adversarial Attacks for Human-in-the-Loop Applications

要約

人間による分析を含めることは、ディープ ニューラル ネットワークの堅牢性にプラスの影響を与える可能性がありますが、敵対的機械学習の文献では比較的調査されていません。
ニューラル ネットワークの視覚的説明マップは、敵対的な攻撃を受けやすいことが示されています。
画像解析者が特定のモデルを評価するための説明の堅牢な視覚化を選択するには、さらなる研究が必要です。
これらの要因は、説明マップや堅牢性の測定などの敵対的画像に依存するため、ヒューマンインザループ (HITL) 評価ツールに大きな影響を与えます。
私たちは、人間の視覚的注意のモデルが、人間と機械の画像分析システムの解釈可能性と堅牢性を向上させる可能性があると考えています。
私たちの課題は依然として残っており、この敵対的な状況において HITL 評価をどのように堅牢に行うことができるでしょうか?

要約(オリジナル)

Including human analysis has the potential to positively affect the robustness of Deep Neural Networks and is relatively unexplored in the Adversarial Machine Learning literature. Neural network visual explanation maps have been shown to be prone to adversarial attacks. Further research is needed in order to select robust visualizations of explanations for the image analyst to evaluate a given model. These factors greatly impact Human-In-The-Loop (HITL) evaluation tools due to their reliance on adversarial images, including explanation maps and measurements of robustness. We believe models of human visual attention may improve interpretability and robustness of human-machine imagery analysis systems. Our challenge remains, how can HITL evaluation be robust in this adversarial landscape?

arxiv情報

提供元, 利用サービス

arxiv.jp, Google