要約
大規模言語モデル (LLM) の継続的な開発により、トランスフォーマー ベースのモデルは多くの自然言語処理 (NLP) タスクにおいて画期的な進歩を遂げ、LLM を制御ハブとして使用する一連のエージェントの出現につながりました。
LLM はさまざまなタスクで成功を収めていますが、多数のセキュリティとプライバシーの脅威に直面しており、エージェントのシナリオではさらに深刻になります。
LLM ベースのアプリケーションの信頼性を高めるために、さまざまな観点からこれらのリスクを評価し、軽減するためのさまざまな研究が行われています。
研究者がさまざまなリスクを包括的に理解できるようにするために、この調査では、これらのエージェントが直面するさまざまな脅威を収集して分析します。
クロスモジュールおよびクロスステージの脅威を処理する際にこれまでの分類法によってもたらされた課題に対処するために、私たちはソースと影響に基づいた新しい分類法のフレームワークを提案します。
さらに、LLM ベースのエージェントの 6 つの主要な特徴を特定し、それに基づいて現在の研究の進捗状況を要約し、その限界を分析します。
次に、代表的な 4 つの薬剤をケーススタディとして選択し、実際の使用時に直面する可能性のあるリスクを分析します。
最後に、上記の分析に基づいて、データ、方法論、政策のそれぞれの観点から将来の研究の方向性を提案します。
要約(オリジナル)
With the continuous development of large language models (LLMs), transformer-based models have made groundbreaking advances in numerous natural language processing (NLP) tasks, leading to the emergence of a series of agents that use LLMs as their control hub. While LLMs have achieved success in various tasks, they face numerous security and privacy threats, which become even more severe in the agent scenarios. To enhance the reliability of LLM-based applications, a range of research has emerged to assess and mitigate these risks from different perspectives. To help researchers gain a comprehensive understanding of various risks, this survey collects and analyzes the different threats faced by these agents. To address the challenges posed by previous taxonomies in handling cross-module and cross-stage threats, we propose a novel taxonomy framework based on the sources and impacts. Additionally, we identify six key features of LLM-based agents, based on which we summarize the current research progress and analyze their limitations. Subsequently, we select four representative agents as case studies to analyze the risks they may face in practical use. Finally, based on the aforementioned analyses, we propose future research directions from the perspectives of data, methodology, and policy, respectively.
arxiv情報
著者 | Yuyou Gan,Yong Yang,Zhe Ma,Ping He,Rui Zeng,Yiming Wang,Qingming Li,Chunyi Zhou,Songze Li,Ting Wang,Yunjun Gao,Yingcai Wu,Shouling Ji |
発行日 | 2024-11-14 15:40:04+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google