Navigation as Attackers Wish? Towards Building Byzantine-Robust Embodied Agents under Federated Learning

要約

フェデレーテッド エンボディド エージェント学習は、トレーニング中にデータを各クライアント (個々の環境) でローカルに保持することにより、個々のビジュアル環境のデータ プライバシーを保護します。
ただし、フェデレーテッド ラーニングではローカル データにサーバーからアクセスできないため、攻撃者はローカル クライアントのトレーニング データを簡単にポイズニングして、通知なしにエージェントにバックドアを構築する可能性があります。
このようなエージェントを展開すると、攻撃者がバックドアを介してエージェントを簡単にナビゲートして制御できるため、人間に危害を加える可能性が高くなります。
ビザンチンロバストなフェデレーテッド エンボディド エージェント学習に向けて、このホワイト ペーパーでは、エージェントが屋内環境をナビゲートするために自然言語の指示に従う必要がある視覚言語ナビゲーション (VLN) のタスクの攻撃と防御を研究します。
最初に、悪意のあるクライアントがローカルの軌跡データを操作してグローバル モデルにバックドアを埋め込む、シンプルだが効果的な攻撃戦略、Navigation as Wish (NAW) を紹介します。
2 つの VLN データセット (R2R と RxR) の結果は、NAW が、通常のテスト セットでのパフォーマンスに影響を与えることなく、言語の指示に関係なく、展開された VLN エージェントを簡単にナビゲートできることを示しています。
次に、フェデレーテッド VLN での NAW 攻撃を防御するために、新しい Prompt-Based Aggregation (PBA) を提案します。これは、サーバーに無害なクライアントと悪意のあるクライアントの間のビジョンと言語の一致の差異の「プロンプト」を提供します。
トレーニング中に区別できるようにします。
グローバル モデルを NAW 攻撃から保護する上での PBA 手法の有効性を検証します。これは、R2R および RxR の防御指標において、他の最先端の防御手法よりも大幅に優れています。

要約(オリジナル)

Federated embodied agent learning protects the data privacy of individual visual environments by keeping data locally at each client (the individual environment) during training. However, since the local data is inaccessible to the server under federated learning, attackers may easily poison the training data of the local client to build a backdoor in the agent without notice. Deploying such an agent raises the risk of potential harm to humans, as the attackers may easily navigate and control the agent as they wish via the backdoor. Towards Byzantine-robust federated embodied agent learning, in this paper, we study the attack and defense for the task of vision-and-language navigation (VLN), where the agent is required to follow natural language instructions to navigate indoor environments. First, we introduce a simple but effective attack strategy, Navigation as Wish (NAW), in which the malicious client manipulates local trajectory data to implant a backdoor into the global model. Results on two VLN datasets (R2R and RxR) show that NAW can easily navigate the deployed VLN agent regardless of the language instruction, without affecting its performance on normal test sets. Then, we propose a new Prompt-Based Aggregation (PBA) to defend against the NAW attack in federated VLN, which provides the server with a ”prompt” of the vision-and-language alignment variance between the benign and malicious clients so that they can be distinguished during training. We validate the effectiveness of the PBA method on protecting the global model from the NAW attack, which outperforms other state-of-the-art defense methods by a large margin in the defense metrics on R2R and RxR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google