On the Safety Concerns of Deploying LLMs/VLMs in Robotics: Highlighting the Risks and Vulnerabilities

要約

この論文では、大規模言語モデル (LLM) とビジョン言語モデル (VLM) をロボット工学アプリケーションに統合することに関連する堅牢性と安全性の重要な問題に焦点を当てます。
最近の研究は、LLM と VLM を使用して、操作やナビゲーションなどのロボット タスクのパフォーマンスを向上させることに焦点を当てています。しかし、そのような統合は、言語モデルによる敵対的攻撃に対する脆弱性という点で、重大な脆弱性を導入する可能性があり、潜在的に重大な脆弱性を引き起こす可能性があります。
壊滅的な結果に。
LLM/VLM とロボット工学のインターフェースに関する最近の研究を調べることにより、ロボットの動作を操作したり誤った方向に導いたりすることが容易であり、安全上の危険につながることを示します。
私たちは、いくつかの考えられる敵対的攻撃の例を定義して提供し、言語モデルと統合された 3 つの著名なロボット フレームワーク (KnowNo VIMA や Instruct2Act など) で実験を実施して、これらの攻撃に対する感受性を評価します。
私たちの経験的調査結果は、LLM/VLM ロボット統合システムの顕著な脆弱性を明らかにしました。単純な敵対的攻撃によって、LLM/VLM ロボット統合システムの有効性が大幅に損なわれる可能性があります。
具体的には、当社のデータは、プロンプト攻撃では平均 21.2% のパフォーマンス低下、知覚攻撃ではさらに憂慮すべき 30.2% のパフォーマンス低下を示しています。
これらの結果は、高度な LLM/VLM ベースのロボット システムの安全かつ信頼性の高い導入を保証するための堅牢な対策が不可欠であることを強調しています。

要約(オリジナル)

In this paper, we highlight the critical issues of robustness and safety associated with integrating large language models (LLMs) and vision-language models (VLMs) into robotics applications. Recent works have focused on using LLMs and VLMs to improve the performance of robotics tasks, such as manipulation, navigation, etc. However, such integration can introduce significant vulnerabilities, in terms of their susceptibility to adversarial attacks due to the language models, potentially leading to catastrophic consequences. By examining recent works at the interface of LLMs/VLMs and robotics, we show that it is easy to manipulate or misguide the robot’s actions, leading to safety hazards. We define and provide examples of several plausible adversarial attacks, and conduct experiments on three prominent robot frameworks integrated with a language model, including KnowNo VIMA, and Instruct2Act, to assess their susceptibility to these attacks. Our empirical findings reveal a striking vulnerability of LLM/VLM-robot integrated systems: simple adversarial attacks can significantly undermine the effectiveness of LLM/VLM-robot integrated systems. Specifically, our data demonstrate an average performance deterioration of 21.2% under prompt attacks and a more alarming 30.2% under perception attacks. These results underscore the critical need for robust countermeasures to ensure the safe and reliable deployment of the advanced LLM/VLM-based robotic systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google