Can We Trust Embodied Agents? Exploring Backdoor Attacks against Embodied LLM-based Decision-Making Systems

要約

大規模な言語モデル（LLM）は、特に特定のアプリケーションに合わせて調整されながら固有の常識と推論能力を活用するために微調整された場合、具体的な人工知能の実世界の意思決定タスクに大きな約束を示しています。
ただし、この微調整プロセスは、特に安全性が批判的なサイバー物理システムにおいて、かなりの安全性とセキュリティの脆弱性をもたらします。
この作業では、具体化されたAIにおけるLLMベースの意思決定システム（BALD）に対するバックドア攻撃の最初の包括的なフレームワークを提案し、攻撃面を体系的に調査し、メカニズムをトリガーします。
具体的には、LLMベースの意思決定パイプラインのさまざまなコンポーネントをターゲットにした、単語インジェクション、シナリオ操作、知識インジェクションの3つの異なる攻撃メカニズムを提案します。
自律運転およびホームロボットタスクで、代表的なLLMS（GPT-3.5、LLAMA2、PALM2、PALM2）の広範な実験を実施し、さまざまな攻撃チャネルにわたってバックドアトリガーの有効性とステルス性を実証します。
私たちの言葉と知識の注入攻撃は、システムへの限られたアクセスのみを必要としながら、複数のモデルとデータセットでほぼ100％の成功率を達成します。
当社のシナリオ操作攻撃により、成功率は65％を超え、最大90％に達し、ランタイムシステムの侵入は必要ありません。
また、防御に対するこれらの攻撃の堅牢性を評価し、それらの回復力を明らかにします。
私たちの調査結果は、具体化されたLLMシステムの重要なセキュリティの脆弱性を強調し、潜在的なリスクを軽減するためにこれらのシステムを保護する緊急の必要性を強調しています。

要約(オリジナル)

Large Language Models (LLMs) have shown significant promise in real-world decision-making tasks for embodied artificial intelligence, especially when fine-tuned to leverage their inherent common sense and reasoning abilities while being tailored to specific applications. However, this fine-tuning process introduces considerable safety and security vulnerabilities, especially in safety-critical cyber-physical systems. In this work, we propose the first comprehensive framework for Backdoor Attacks against LLM-based Decision-making systems (BALD) in embodied AI, systematically exploring the attack surfaces and trigger mechanisms. Specifically, we propose three distinct attack mechanisms: word injection, scenario manipulation, and knowledge injection, targeting various components in the LLM-based decision-making pipeline. We perform extensive experiments on representative LLMs (GPT-3.5, LLaMA2, PaLM2) in autonomous driving and home robot tasks, demonstrating the effectiveness and stealthiness of our backdoor triggers across various attack channels, with cases like vehicles accelerating toward obstacles and robots placing knives on beds. Our word and knowledge injection attacks achieve nearly 100% success rate across multiple models and datasets while requiring only limited access to the system. Our scenario manipulation attack yields success rates exceeding 65%, reaching up to 90%, and does not require any runtime system intrusion. We also assess the robustness of these attacks against defenses, revealing their resilience. Our findings highlight critical security vulnerabilities in embodied LLM systems and emphasize the urgent need for safeguarding these systems to mitigate potential risks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google