Emerging Security Challenges of Large Language Models

要約

大規模言語モデル (LLM) は、教育 [4] や医療 [23] などの重要性の高い分野を含む、さまざまな分野で短期間に記録的な導入を達成しました。
LLM は、特定の下流タスクに合わせて調整することなく、多様なデータでトレーニングされたオープンエンド モデルであり、さまざまなドメインにわたる幅広い適用性を可能にします。
これらは一般にテキスト生成に使用されますが、コード生成 [3] や、Microsoft Security Copilot が実証しているようにセキュリティ情報の分析を支援するためにも広く使用されています [18]。
従来の機械学習 (ML) モデルは、敵対的攻撃に対して脆弱です [9]。
そのため、LLM のこのような大規模な採用による潜在的なセキュリティへの影響に関する懸念により、LLM のセキュリティに関するこのワーキング グループが設立されました。
「ネットワーク攻撃の検出と防御 – AI を活用した脅威と対応」に関する Dagstuhl セミナーでは、ワーキング グループの議論では、マルウェアの生成やサイバー攻撃の可能化における LLM の潜在的な使用ではなく、敵対的攻撃に対する LLM の脆弱性に焦点が当てられました。
後者に代表される潜在的な脅威に注意しますが、そのような使用における LLM の役割は、無害な使用の場合と同様に、開発のアクセラレータとして主に行われます。
分析をより具体的にするために、ワーキング グループは LLM の具体例として ChatGPT を採用し、次の点に取り組みました。これらの点はこのレポートの構成でもあります。 1. LLM の脆弱性は従来の ML モデルとどのように異なりますか?
2. LLM の攻撃目的は何ですか?
3. LLM の脆弱性によってもたらされるリスクを評価することはどのくらい複雑ですか?
4. LLM のサプライ チェーンとは何ですか? システムへのデータの出入りはどのように行われ、セキュリティへの影響は何ですか?
最後に、未解決の課題と展望の概要を説明します。

要約(オリジナル)

Large language models (LLMs) have achieved record adoption in a short period of time across many different sectors including high importance areas such as education [4] and healthcare [23]. LLMs are open-ended models trained on diverse data without being tailored for specific downstream tasks, enabling broad applicability across various domains. They are commonly used for text generation, but also widely used to assist with code generation [3], and even analysis of security information, as Microsoft Security Copilot demonstrates [18]. Traditional Machine Learning (ML) models are vulnerable to adversarial attacks [9]. So the concerns on the potential security implications of such wide scale adoption of LLMs have led to the creation of this working group on the security of LLMs. During the Dagstuhl seminar on ‘Network Attack Detection and Defense – AI-Powered Threats and Responses’, the working group discussions focused on the vulnerability of LLMs to adversarial attacks, rather than their potential use in generating malware or enabling cyberattacks. Although we note the potential threat represented by the latter, the role of the LLMs in such uses is mostly as an accelerator for development, similar to what it is in benign use. To make the analysis more specific, the working group employed ChatGPT as a concrete example of an LLM and addressed the following points, which also form the structure of this report: 1. How do LLMs differ in vulnerabilities from traditional ML models? 2. What are the attack objectives in LLMs? 3. How complex it is to assess the risks posed by the vulnerabilities of LLMs? 4. What is the supply chain in LLMs, how data flow in and out of systems and what are the security implications? We conclude with an overview of open challenges and outlook.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google