A Superalignment Framework in Autonomous Driving with Large Language Models

要約

昨年、大規模言語モデル (LLM) とマルチモーダル大規模言語モデル (MLLM) の分野、特に自動運転への適用において、大幅な進歩が見られました。
これらのモデルは、複雑な情報の処理と対話において優れた能力を示しています。
自動運転では、LLM と MLLM が広く使用されており、正確な位置、画像、道路状況などの機密性の高い車両データへのアクセスが必要です。
これらのデータは、高度な分析のために LLM ベースの推論クラウドに送信されます。
ただし、データおよびプライバシー侵害に対する保護は主に LLM 固有のセキュリティ対策に依存しており、LLM の推論出力の追加の精査や評価が行われないため、データ セキュリティに関して懸念が生じます。
その重要性にもかかわらず、自動運転における LLM のセキュリティ面はまだ十分に研究されていません。
このギャップに対処するために、私たちの研究では、マルチエージェント LLM アプローチを利用した自動運転車用の新しいセキュリティ フレームワークを導入しています。
このフレームワークは、自動運転車に関連する機密情報を潜在的な漏洩から保護すると同時に、LLM の出力が運転規制に準拠し、人間の価値観と一致することを保証するように設計されています。
無関係なクエリを除外し、LLM 出力の安全性と信頼性を検証するメカニズムが含まれています。
このフレームワークを利用して、11 個の大規模な言語モデル駆動型自動運転合図のセキュリティ、プライバシー、コストの側面を評価しました。
さらに、これらの運転プロンプトに対して QA テストを実行し、フレームワークの有効性を実証することに成功しました。

要約(オリジナル)

Over the last year, significant advancements have been made in the realms of large language models (LLMs) and multi-modal large language models (MLLMs), particularly in their application to autonomous driving. These models have showcased remarkable abilities in processing and interacting with complex information. In autonomous driving, LLMs and MLLMs are extensively used, requiring access to sensitive vehicle data such as precise locations, images, and road conditions. These data are transmitted to an LLM-based inference cloud for advanced analysis. However, concerns arise regarding data security, as the protection against data and privacy breaches primarily depends on the LLM’s inherent security measures, without additional scrutiny or evaluation of the LLM’s inference outputs. Despite its importance, the security aspect of LLMs in autonomous driving remains underexplored. Addressing this gap, our research introduces a novel security framework for autonomous vehicles, utilizing a multi-agent LLM approach. This framework is designed to safeguard sensitive information associated with autonomous vehicles from potential leaks, while also ensuring that LLM outputs adhere to driving regulations and align with human values. It includes mechanisms to filter out irrelevant queries and verify the safety and reliability of LLM outputs. Utilizing this framework, we evaluated the security, privacy, and cost aspects of eleven large language model-driven autonomous driving cues. Additionally, we performed QA tests on these driving prompts, which successfully demonstrated the framework’s efficacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google