How Secure Are Large Language Models (LLMs) for Navigation in Urban Environments?

要約

ロボット工学と自動化の分野では、大規模な言語モデル（LLM）に基づくナビゲーションシステムが最近、印象的なパフォーマンスを実証しました。
ただし、これらのシステムのセキュリティの側面は比較的少ない注意を払っています。
この論文は、自律運転、物流、緊急サービスにおけるこの技術の広範なアプリケーションを考慮して、都市の屋外環境におけるLLMベースのナビゲーションモデルにおける脆弱性の探求を先駆けています。
具体的には、元のナビゲーションプロンプトを混乱させてLLMベースのナビゲーションモデルを操作し、誤ったアクションにつながる新しいナビゲーションプロンプト攻撃を導入します。
摂動の方法に基づいて、攻撃は2つのタイプに分けられます：ナビゲーションプロンプトインサート（NPI）攻撃とナビゲーションプロンプトスワップ（NPS）攻撃。
推論のためにさまざまなLLMを使用するLLMベースのナビゲーションモデルで包括的な実験を実施しました。
いくつかのショット学習と微調整構成の両方でタッチダウンとMAP2SEQストリートビューデータセットに由来する我々の結果は、ホワイトボックスとブラックボックスの両方の攻撃に直面して、7つのメトリックにわたって顕著なパフォーマンスの低下を示しています。
さらに、当社の攻撃は、同様に効果的な結果をもたらす他のLLMベースのナビゲーションモデルに簡単に拡張できます。
これらの調査結果は、提案された攻撃の一般化可能性と転送可能性を強調し、LLMベースのナビゲーションシステムでセキュリティを強化する必要性を強調しています。
最初の対策として、ナビゲーションプロンプトエンジニアリング（NPE）防衛戦略を提案します。これは、ナビゲーションに関連するキーワードに集中して、敵対的な攻撃の影響を軽減します。
最初の調査結果は、この戦略がナビゲーションの安全性を高めることを示していますが、これらのシステムが直面する現実世界の課題に効果的に取り組むために、より強力な防衛方法を開発するためのより広い研究コミュニティが重要な必要性が残っています。

要約(オリジナル)

In the field of robotics and automation, navigation systems based on Large Language Models (LLMs) have recently demonstrated impressive performance. However, the security aspects of these systems have received relatively less attention. This paper pioneers the exploration of vulnerabilities in LLM-based navigation models in urban outdoor environments, a critical area given the widespread application of this technology in autonomous driving, logistics, and emergency services. Specifically, we introduce a novel Navigational Prompt Attack that manipulates LLM-based navigation models by perturbing the original navigational prompt, leading to incorrect actions. Based on the method of perturbation, our attacks are divided into two types: Navigational Prompt Insert (NPI) Attack and Navigational Prompt Swap (NPS) Attack. We conducted comprehensive experiments on an LLM-based navigation model that employs various LLMs for reasoning. Our results, derived from the Touchdown and Map2Seq street-view datasets under both few-shot learning and fine-tuning configurations, demonstrate notable performance declines across seven metrics in the face of both white-box and black-box attacks. Moreover, our attacks can be easily extended to other LLM-based navigation models with similarly effective results. These findings highlight the generalizability and transferability of the proposed attack, emphasizing the need for enhanced security in LLM-based navigation systems. As an initial countermeasure, we propose the Navigational Prompt Engineering (NPE) Defense strategy, which concentrates on navigation-relevant keywords to reduce the impact of adversarial attacks. While initial findings indicate that this strategy enhances navigational safety, there remains a critical need for the wider research community to develop stronger defense methods to effectively tackle the real-world challenges faced by these systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google