Manipulation Facing Threats: Evaluating Physical Vulnerabilities in End-to-End Vision Language Action Models

要約

最近、マルチモーダル大規模言語モデル (MLLM) の進歩により、ロボット操作タスクのオープン語彙シナリオでより優れたパフォーマンスを達成するために、ビジョン言語アクション モデル (VLAM) が提案されています。
操作タスクには物理世界との直接的な対話が含まれるため、このタスクの実行中の堅牢性と安全性を確保することは常に非常に重要な問題です。
この論文では、MLLM に関する現在の安全性研究と、物理世界における操作タスクの特定のアプリケーション シナリオを統合することにより、潜在的な物理的脅威に直面した VLAM を包括的に評価します。
具体的には、VLAM の物理的堅牢性を評価するために、可能な限り多くの視覚的なモーダル物理的脅威を組み込むことができる物理的脆弱性評価パイプライン (PVEP) を提案します。
PVEP の物理的な脅威には、特に、配布外、タイポグラフィベースのビジュアル プロンプト、敵対的パッチ攻撃が含まれます。
攻撃を受ける前と後の VLAM のパフォーマンス変動を比較することで、VLAM がさまざまな物理セキュリティの脅威にどのように対応するかに関する一般化可能な分析を提供します。
私たちのプロジェクト ページは次のリンクにあります: https://chaducheng.github.io/Manipulat-Facing-Threats/。

要約(オリジナル)

Recently, driven by advancements in Multimodal Large Language Models (MLLMs), Vision Language Action Models (VLAMs) are being proposed to achieve better performance in open-vocabulary scenarios for robotic manipulation tasks. Since manipulation tasks involve direct interaction with the physical world, ensuring robustness and safety during the execution of this task is always a very critical issue. In this paper, by synthesizing current safety research on MLLMs and the specific application scenarios of the manipulation task in the physical world, we comprehensively evaluate VLAMs in the face of potential physical threats. Specifically, we propose the Physical Vulnerability Evaluating Pipeline (PVEP) that can incorporate as many visual modal physical threats as possible for evaluating the physical robustness of VLAMs. The physical threats in PVEP specifically include Out-of-Distribution, Typography-based Visual Prompts, and Adversarial Patch Attacks. By comparing the performance fluctuations of VLAMs before and after being attacked, we provide generalizable Analyses of how VLAMs respond to different physical security threats. Our project page is in this link: https://chaducheng.github.io/Manipulat-Facing-Threats/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google