On Attacking Out-Domain Uncertainty Estimation in Deep Neural Networks

要約

現実世界に影響を与える多くのアプリケーションでは、AI 意思決定システムによって行われる予測の信頼できる不確実性の推定を開発することが重要です。
不確実性を推定するという目標を目指して、さまざまな深層ニューラル ネットワーク (DNN) ベースの不確実性推定アルゴリズムが提案されています。
ただし、これらのアルゴリズムによって返される不確実性の堅牢性は、体系的に調査されていません。
この作業では、堅牢な不確実性推定に関する研究コミュニティの認識を高めるために、最先端の不確実性推定アルゴリズムが、不確実性推定に対する印象的なパフォーマンスにもかかわらず、提案された敵対的攻撃の下で壊滅的に失敗する可能性があることを示しています。
特に、アウトドメインの不確実性の推定を攻撃することを目的としています。私たちの攻撃の下では、不確実性モデルがだまされて、アウトドメインのデータに対して信頼性の高い予測が行われます。
さまざまなベンチマーク画像データセットに関する広範な実験結果は、最先端の方法で推定された不確実性が攻撃によって簡単に破損する可能性があることを示しています。

要約(オリジナル)

In many applications with real-world consequences, it is crucial to develop reliable uncertainty estimation for the predictions made by the AI decision systems. Targeting at the goal of estimating uncertainty, various deep neural network (DNN) based uncertainty estimation algorithms have been proposed. However, the robustness of the uncertainty returned by these algorithms has not been systematically explored. In this work, to raise the awareness of the research community on robust uncertainty estimation, we show that state-of-the-art uncertainty estimation algorithms could fail catastrophically under our proposed adversarial attack despite their impressive performance on uncertainty estimation. In particular, we aim at attacking the out-domain uncertainty estimation: under our attack, the uncertainty model would be fooled to make high-confident predictions for the out-domain data, which they originally would have rejected. Extensive experimental results on various benchmark image datasets show that the uncertainty estimated by state-of-the-art methods could be easily corrupted by our attack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google