Are Attention Networks More Robust? Towards Exact Robustness Verification for Attention Networks

要約

トランスフォーマーなどのアテンション ネットワーク (ATN) は、自然言語処理から自動運転まで、さまざまな分野で使用されています。
このホワイト ペーパーでは、ATN のロバスト性の問題について説明します。これは、ロバスト性の低さが安全上の懸念を引き起こす可能性がある重要な特性です。
具体的には、Sparsemax ベースの ATN に注目し、それらの最大ロバスト性の発見を混合整数二次制約計画法 (MIQCP) 問題に還元します。
また、MIQCPエンコーディングに埋め込むことができ、その解決を大幅に加速できる2つの前処理ヒューリスティックも設計しています。
次に、Land Departure Warning を適用して実験を行い、Sparsemax ベースの ATN の堅牢性を従来のマルチレイヤー パーセプトロン (MLP) ニューラル ネットワーク (NN) の堅牢性と比較します。
驚いたことに、ATN は必ずしもより堅牢であるとは限らないため、安全性が重要なドメイン アプリケーションに適切な NN アーキテクチャを選択する際には、深い考慮が必要になります。

要約(オリジナル)

Attention Networks (ATNs) such as Transformers are used in many domains ranging from Natural Language Processing to Autonomous Driving. In this paper, we study the robustness problem of ATNs, a key characteristic where low robustness may cause safety concerns. Specifically, we focus on Sparsemax-based ATNs and reduce the finding of their maximum robustness to a Mixed Integer Quadratically Constrained Programming (MIQCP) problem. We also design two pre-processing heuristics that can be embedded in the MIQCP encoding and substantially accelerate its solving. We then conduct experiments using the application of Land Departure Warning to compare the robustness of Sparsemax-based ATNs against that of the more conventional Multi-Layer-Perceptron (MLP) Neural Networks (NNs). To our surprise, ATNs are not necessarily more robust, leading to profound considerations in selecting appropriate NN architectures for safety-critical domain applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google