Towards more Practical Threat Models in Artificial Intelligence Security

要約

最近の研究では、人工知能のセキュリティにおける研究と実践の間のギャップが明らかになりました。学術界で研究されている脅威は、必ずしも AI の実際の使用とセキュリティ リスクを反映しているわけではありません。
たとえば、モデルは単独で研究されることがよくありますが、実際にはより大きな ML パイプラインの一部を形成します。
最近の研究では、学術攻撃によって導入される敵対的操作が非現実的であることも明らかになりました。
私たちは、この格差の全容を解明するための第一歩を踏み出します。
この目的を達成するために、私たちは AI セキュリティ研究で最も研究されている 6 つの攻撃の脅威モデルを再検討し、\textbf{271} 業界の専門家との調査を通じてそれらを実際の AI の使用状況と照合します。
一方で、既存の脅威モデルはすべて実際に適用できることがわかりました。
一方で、重大な不一致も存在します。現実の環境では頻繁に利用できない情報へのアクセスを想定して、調査が攻撃者に対して寛大すぎることがよくあります。
したがって、私たちの論文は、人工知能セキュリティにおけるより実践的な脅威モデルを研究するための行動を呼びかけるものです。

要約(オリジナル)

Recent works have identified a gap between research and practice in artificial intelligence security: threats studied in academia do not always reflect the practical use and security risks of AI. For example, while models are often studied in isolation, they form part of larger ML pipelines in practice. Recent works also brought forward that adversarial manipulations introduced by academic attacks are impractical. We take a first step towards describing the full extent of this disparity. To this end, we revisit the threat models of the six most studied attacks in AI security research and match them to AI usage in practice via a survey with \textbf{271} industrial practitioners. On the one hand, we find that all existing threat models are indeed applicable. On the other hand, there are significant mismatches: research is often too generous with the attacker, assuming access to information not frequently available in real-world settings. Our paper is thus a call for action to study more practical threat models in artificial intelligence security.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google