The Information Security Awareness of Large Language Models

要約

大規模言語モデル (LLM) の人気は高まり続けており、LLM ベースのアシスタントが普及し、生活のさまざまな側面でさまざまな背景を持つ人々を支援しています。
LLM の安全性と社会規範との整合性のために、多大なリソースが投資されてきました。
しかし、情報セキュリティ意識 (ISA) の観点から彼らの行動を調査する研究は不足しています。
チャットボットや LLM ベースのアシスタントは、危険な行動を助長することで、気付かないユーザーを危険にさらす可能性があります。
現在最も人気のある LLM の一部に固有の ISA は大幅に異なり、ほとんどのモデルでは、セキュリティの知識を活用してユーザーに安全な応答を提供するために、明確なセキュリティ コンテキストを示すユーザー プロンプトが必要であることがわかりました。
この観察に基づいて、LLM の ISA を評価するための 30 のシナリオからなる包括的なセットを作成しました。
これらのシナリオは、モバイル ISA 分類法で定義されたすべての重点領域に関して評価されたモデルのベンチマークを行います。
私たちの発見の中には、モデルの温度を変更すると ISA が軽度の影響を受けるのに対し、システム プロンプトを調整すると大きな影響を受ける可能性があることがわかりました。
これは、ISA の弱点を軽減するために適切なシステム プロンプトを設定する必要性を強調しています。
私たちの調査結果は、将来の LLM ベースのアシスタントの開発における ISA 評価の重要性も強調しています。

要約(オリジナル)

The popularity of large language models (LLMs) continues to increase, and LLM-based assistants have become ubiquitous, assisting people of diverse backgrounds in many aspects of life. Significant resources have been invested in the safety of LLMs and their alignment with social norms. However, research examining their behavior from the information security awareness (ISA) perspective is lacking. Chatbots and LLM-based assistants may put unwitting users in harm’s way by facilitating unsafe behavior. We observe that the ISA inherent in some of today’s most popular LLMs varies significantly, with most models requiring user prompts with a clear security context to utilize their security knowledge and provide safe responses to users. Based on this observation, we created a comprehensive set of 30 scenarios to assess the ISA of LLMs. These scenarios benchmark the evaluated models with respect to all focus areas defined in a mobile ISA taxonomy. Among our findings is that ISA is mildly affected by changing the model’s temperature, whereas adjusting the system prompt can substantially impact it. This underscores the necessity of setting the right system prompt to mitigate ISA weaknesses. Our findings also highlight the importance of ISA assessment for the development of future LLM-based assistants.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google