TrojanRobot: Physical-World Backdoor Attacks Against VLM-based Robotic Manipulation

要約

物理世界におけるロボット操作は、\textit{ラージ言語モデル} (LLM) と \textit{ビジョン言語モデル} (VLM) によってますます強化されており、それらの理解能力と知覚能力を活用しています。
近年、こうしたロボット政策に対するさまざまな攻撃が提案されており、その高いステルス性と強力な持続性からバックドア攻撃が注目を集めています。
ただし、既存のバックドアの取り組みはシミュレーターに限定されており、物理世界の実現には問題があります。
これに対処するために、私たちは、物理世界における非常にステルス性が高く、広範囲に効果的なロボットによるバックドア攻撃である \textit{TrojanRobot} を提案します。
具体的には、バックドア モジュールをモジュール式ロボット ポリシーに埋め込むことでモジュール ポイズニング アプローチを導入し、ポリシーの視覚認識モジュールに対するバックドア制御を可能にし、それによってロボット ポリシー全体をバックドア化します。
私たちのバニラ実装では、バックドアモジュールとして機能するバックドア微調整された VLM を活用しています。
物理環境での汎用性を高めるために、LVLM-as-a-backdoor パラダイムを活用し、\textit{permutation}、\textit{stagnation}、\textit の 3 種類の主要な攻撃を開発する主要な実装を提案します。
{意図的な} 攻撃を防止し、より詳細なバックドアを実現します。
4 つの VLM に基づくロボット ポリシーを使用した 18 のタスク命令を備えた UR3e マニピュレータでの広範な実験により、TrojanRobot の広範な有効性と物理世界のステルス性が実証されました。
私たちの攻撃のビデオデモは、github リンク \url{https://trojanrobot.github.io} からご覧いただけます。

要約(オリジナル)

Robotic manipulation in the physical world is increasingly empowered by \textit{large language models} (LLMs) and \textit{vision-language models} (VLMs), leveraging their understanding and perception capabilities. Recently, various attacks against such robotic policies have been proposed, with backdoor attacks drawing considerable attention for their high stealth and strong persistence capabilities. However, existing backdoor efforts are limited to simulators and suffer from physical-world realization. To address this, we propose \textit{TrojanRobot}, a highly stealthy and broadly effective robotic backdoor attack in the physical world. Specifically, we introduce a module-poisoning approach by embedding a backdoor module into the modular robotic policy, enabling backdoor control over the policy’s visual perception module thereby backdooring the entire robotic policy. Our vanilla implementation leverages a backdoor-finetuned VLM to serve as the backdoor module. To enhance its generalization in physical environments, we propose a prime implementation, leveraging the LVLM-as-a-backdoor paradigm and developing three types of prime attacks, \ie, \textit{permutation}, \textit{stagnation}, and \textit{intentional} attacks, thus achieving finer-grained backdoors. Extensive experiments on the UR3e manipulator with 18 task instructions using robotic policies based on four VLMs demonstrate the broad effectiveness and physical-world stealth of TrojanRobot. Our attack’s video demonstrations are available via a github link \url{https://trojanrobot.github.io}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google