Highlighting the Safety Concerns of Deploying LLMs/VLMs in Robotics

要約

この論文では、大規模言語モデル (LLM) とビジョン言語モデル (VLM) をロボット工学アプリケーションに統合することに関連する堅牢性と安全性の重要な問題に焦点を当てます。
最近の研究では、LLM と VLM を使用して、操作やナビゲーションなどのロボット タスクのパフォーマンスを向上させることに焦点を当てています。
これらの改善にもかかわらず、そのようなシステムの安全性の分析は依然として十分に研究されておらず、非常に重要です。
LLM と VLM は敵対的な入力の影響を非常に受けやすいため、ロボット システムの安全性についての重要な調査が求められています。
ロボット工学は物理世界で動作し、誤った動作が重大な結果をもたらす可能性があるため、この懸念は重要です。
この論文では、この問題を徹底的に調査し、LLM/VLM ベースのロボット システムに対する潜在的な攻撃を数学的に定式化し、安全性の課題の実験的証拠を提供します。
私たちの経験的調査結果は、入力への単純な変更によりシステムの効率が大幅に低下する可能性があるという重大な脆弱性を浮き彫りにしました。
具体的には、私たちの結果は、入力プロンプトの小さな変更の下で平均 19.4% のパフォーマンスの低下が示され、わずかな知覚変化の下ではさらに憂慮すべき 29.1% のパフォーマンスの低下を示しています。
これらの調査結果は、高度な LLM/VLM ベースのロボット システムの安全かつ信頼性の高い展開を確保するための強力な対策が緊急に必要であることを強調しています。

要約(オリジナル)

In this paper, we highlight the critical issues of robustness and safety associated with integrating large language models (LLMs) and vision-language models (VLMs) into robotics applications. Recent works focus on using LLMs and VLMs to improve the performance of robotics tasks, such as manipulation and navigation. Despite these improvements, analyzing the safety of such systems remains underexplored yet extremely critical. LLMs and VLMs are highly susceptible to adversarial inputs, prompting a significant inquiry into the safety of robotic systems. This concern is important because robotics operate in the physical world where erroneous actions can result in severe consequences. This paper explores this issue thoroughly, presenting a mathematical formulation of potential attacks on LLM/VLM-based robotic systems and offering experimental evidence of the safety challenges. Our empirical findings highlight a significant vulnerability: simple modifications to the input can drastically reduce system effectiveness. Specifically, our results demonstrate an average performance deterioration of 19.4% under minor input prompt modifications and a more alarming 29.1% under slight perceptual changes. These findings underscore the urgent need for robust countermeasures to ensure the safe and reliable deployment of advanced LLM/VLM-based robotic systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google