Embedding-based classifiers can detect prompt injection attacks

要約

大規模言語モデル (LLM) は、その優れた生成機能により、あらゆる種類の組織で大幅に採用されています。
しかし、LLM はさまざまな敵対的攻撃、特に有害または不適切なコンテンツを生成させるプロンプト インジェクション攻撃に対して脆弱であることがわかっています。
敵対者は、LLM を欺く悪意のあるプロンプトを作成することによって、このような攻撃を実行します。
この論文では、LLM ベースのアプリケーションをこの深刻な脅威から保護するための、埋め込みベースの機械学習 (ML) 分類器に基づく新しいアプローチを提案します。
一般的に使用される 3 つの埋め込みモデルを活用して、悪意のあるプロンプトと無害なプロンプトの埋め込みを生成し、ML 分類器を利用して入力プロンプトが悪意があるかどうかを予測します。
いくつかの従来の ML 手法の中で、ランダム フォレストと XGBoost を使用して構築された分類器を使用すると最高のパフォーマンスが得られます。
当社の分類器は、エンコーダ専用のニューラル ネットワークを使用する、オープンソース実装で利用可能な最先端のプロンプト インジェクション分類器よりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Large Language Models (LLMs) are seeing significant adoption in every type of organization due to their exceptional generative capabilities. However, LLMs are found to be vulnerable to various adversarial attacks, particularly prompt injection attacks, which trick them into producing harmful or inappropriate content. Adversaries execute such attacks by crafting malicious prompts to deceive the LLMs. In this paper, we propose a novel approach based on embedding-based Machine Learning (ML) classifiers to protect LLM-based applications against this severe threat. We leverage three commonly used embedding models to generate embeddings of malicious and benign prompts and utilize ML classifiers to predict whether an input prompt is malicious. Out of several traditional ML methods, we achieve the best performance with classifiers built using Random Forest and XGBoost. Our classifiers outperform state-of-the-art prompt injection classifiers available in open-source implementations, which use encoder-only neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google