Explainable AI Based Diagnosis of Poisoning Attacks in Evolutionary Swarms

要約

例えばマルチドローンネットワークのようなスウォーミングシステムは、重要な環境における監視、モニタリング、災害支援のような協調タスクを得意とし、自律エージェントがチームレベルの目標をロバストかつ効率的に達成するために分散型の意思決定を行う。残念ながら、野生のチームレベルの協調戦略は、データポイズニング攻撃に対して脆弱であり、その結果、エージェント間の協調が不正確になったり、敵対的な行動をとったりする。この課題に対処するため、我々は説明可能なAI手法を用いて、このようなデータポイズニング攻撃の影響を調査するフレームワークを提供する。エージェント間の相互作用を進化知能を用いてモデル化し、最適な連合が戦略的に出現して協調タスクを実行する。そして、厳密な評価を通して、データ操作攻撃を使って群モデルを系統的に汚染する。我々は、チーム戦略に対するポイズニングの影響を定量化し、診断を可能にするフットプリントの特徴を抽出するために、説明可能なAI手法の適用可能性を示す。その結果、モデルが10%以上ポイズニングされた場合、非効率的な協力をもたらす非最適戦略を特定できることがわかった。

要約(オリジナル)

Swarming systems, such as for example multi-drone networks, excel at cooperative tasks like monitoring, surveillance, or disaster assistance in critical environments, where autonomous agents make decentralized decisions in order to fulfill team-level objectives in a robust and efficient manner. Unfortunately, team-level coordinated strategies in the wild are vulnerable to data poisoning attacks, resulting in either inaccurate coordination or adversarial behavior among the agents. To address this challenge, we contribute a framework that investigates the effects of such data poisoning attacks, using explainable AI methods. We model the interaction among agents using evolutionary intelligence, where an optimal coalition strategically emerges to perform coordinated tasks. Then, through a rigorous evaluation, the swarm model is systematically poisoned using data manipulation attacks. We showcase the applicability of explainable AI methods to quantify the effects of poisoning on the team strategy and extract footprint characterizations that enable diagnosing. Our findings indicate that when the model is poisoned above 10%, non-optimal strategies resulting in inefficient cooperation can be identified.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL