Navigation as the Attacker Wishes? Towards Building Byzantine-Robust Embodied Agents under Federated Learning

要約

連合体型エージェントの学習では、学習時のデータを各クライアント（個別環境）のローカルに保持することで、個々の視覚環境のデータプライバシーを保護することが可能である。しかし、連合体学習ではローカルデータはサーバからアクセスできないため、攻撃者は気づかないうちにローカルクライアントの学習データを毒殺して、エージェントにバックドアを仕込むことが容易にできる。このようなエージェントを導入すると、攻撃者はバックドアを経由して簡単にエージェントを操作できるため、人間に危害を加える可能性があります。ビザンチンロバストな連合体化された体現型エージェント学習に向けて、本論文では、エージェントが自然言語の指示に従って室内環境をナビゲートすることが求められるビジョンアンドランゲージナビゲーション（VLN）タスクに対する攻撃と防御を研究する。まず、悪意のあるクライアントがローカルな軌跡データを操作してグローバルモデルにバックドアを埋め込むという、シンプルだが効果的な攻撃戦略、Navigation as Wish (NAW)を紹介する。2つのVLNデータセット（R2RとRxR）を用いた結果から、NAWは言語命令に関係なく、展開されたVLNエージェントを容易にナビゲートでき、通常のテストセットでの性能に影響を与えないことが示された。次に、連合VLNにおけるNAW攻撃を防御するために、新しいプロンプトベースのアグリゲーション（PBA）を提案する。これは、良性クライアントと悪性クライアント間の視覚と言語のアライメントの差異を学習中に区別できるよう、サーバに”プロンプト”を提供するものである。NAW攻撃からグローバルモデルを保護するPBA手法の有効性を検証した結果、R2RとRxRにおける防御指標において、他の最先端防御手法を大きく上回る性能を示した。

要約(オリジナル)

Federated embodied agent learning protects the data privacy of individual visual environments by keeping data locally at each client (the individual environment) during training. However, since the local data is inaccessible to the server under federated learning, attackers may easily poison the training data of the local client to build a backdoor in the agent without notice. Deploying such an agent raises the risk of potential harm to humans, as the attackers may easily navigate and control the agent as they wish via the backdoor. Towards Byzantine-robust federated embodied agent learning, in this paper, we study the attack and defense for the task of vision-and-language navigation (VLN), where the agent is required to follow natural language instructions to navigate indoor environments. First, we introduce a simple but effective attack strategy, Navigation as Wish (NAW), in which the malicious client manipulates local trajectory data to implant a backdoor into the global model. Results on two VLN datasets (R2R and RxR) show that NAW can easily navigate the deployed VLN agent regardless of the language instruction, without affecting its performance on normal test sets. Then, we propose a new Prompt-Based Aggregation (PBA) to defend against the NAW attack in federated VLN, which provides the server with a ”prompt” of the vision-and-language alignment variance between the benign and malicious clients so that they can be distinguished during training. We validate the effectiveness of the PBA method on protecting the global model from the NAW attack, which outperforms other state-of-the-art defense methods by a large margin in the defense metrics on R2R and RxR.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL