AGNES: Abstraction-guided Framework for Deep Neural Networks Security

要約

ディープ ニューラル ネットワーク (DNN) は、特に安全性が重要な領域で普及しつつあります。
著名な用途の 1 つは自動運転における画像認識であり、安全運転には交通標識などの物体を正しく分類することが不可欠です。
残念ながら、DNN にはバックドアが発生する傾向があり、正しい分類には無関係であるはずの画像の属性に集中してしまいます。
バックドアは、悪意を持って (操作されたトレーニング プロセスなど、黄色いステッカーが常に交通標識を一時停止標識として認識させるため)、または意図的ではない (田舎の背景が原因で停止標識として認識されるなど) かのいずれかで、トレーニング中に DNN に統合されます。
偏ったトレーニングデータのため、交通標識はどうぶつの森として認識されます）。
本稿では、画像認識用の DNN のバックドアを検出するツール AGNES を紹介します。
AGNES の基礎となる原則的なアプローチについて説明します。
その後、複数の関連するケーススタディに対して、私たちのツールが多くの最先端の方法よりも優れたパフォーマンスを発揮することを示します。

要約(オリジナル)

Deep Neural Networks (DNNs) are becoming widespread, particularly in safety-critical areas. One prominent application is image recognition in autonomous driving, where the correct classification of objects, such as traffic signs, is essential for safe driving. Unfortunately, DNNs are prone to backdoors, meaning that they concentrate on attributes of the image that should be irrelevant for their correct classification. Backdoors are integrated into a DNN during training, either with malicious intent (such as a manipulated training process, because of which a yellow sticker always leads to a traffic sign being recognised as a stop sign) or unintentional (such as a rural background leading to any traffic sign being recognised as animal crossing, because of biased training data). In this paper, we introduce AGNES, a tool to detect backdoors in DNNs for image recognition. We discuss the principle approach on which AGNES is based. Afterwards, we show that our tool performs better than many state-of-the-art methods for multiple relevant case studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google