Certifying LLM Safety against Adversarial Prompting

要約

一般向けにリリースされた大規模言語モデル (LLM) には、出力の安全性を確保するためのガードレールが組み込まれており、これは「モデル アラインメント」と呼ばれることがよくあります。
調整された言語モデルは、有害なコンテンツを作成するというユーザーの要求を拒否する必要があります。
ただし、このような安全対策は、モデルの安全保護を回避して有害なコンテンツを生成させる悪意を持って設計されたトークン シーケンスを含む敵対的なプロンプトに対して脆弱です。
この研究では、検証可能な安全性を保証して敵対的なプロンプトを防御する最初のフレームワークである消去とチェックを導入します。
トークンを個別に消去し、安全フィルターを使用して結果のサブシーケンスを検査します。
この手順では、サブシーケンスまたは入力プロンプトがフィルターによって有害として検出された場合、その入力プロンプトに有害としてラベルを付けます。
これにより、特定のサイズまでの有害なプロンプトに対する敵対的な変更も有害であるとラベル付けされることが保証されます。
私たちは 3 つの攻撃モードから防御します。i) 敵対的なサフィックス。プロンプトの最後に敵対的なシーケンスを追加します。
ii) 敵対的挿入。敵対的シーケンスがプロンプトの中央の任意の場所に挿入されます。
iii) 敵対的注入。敵対的トークンがプロンプト内の任意の位置に (必ずしも連続したブロックとしてではなく) 挿入されます。
経験的な結果は、私たちの技術が安全なプロンプトに対して優れたパフォーマンスを維持しながら、有害なプロンプトに対して強力な認定された安全性保証を獲得していることを示しています。
たとえば、長さ 20 の敵対的なサフィックスに対して、オープンソース言語モデル Llama 2 を安全フィルターとして使用して、有害なプロンプトの 93% を確実に検出し、安全なプロンプトの 94% を安全であるとラベル付けします。

要約(オリジナル)

Large language models (LLMs) released for public use incorporate guardrails to ensure their output is safe, often referred to as ‘model alignment.’ An aligned language model should decline a user’s request to produce harmful content. However, such safety measures are vulnerable to adversarial prompts, which contain maliciously designed token sequences to circumvent the model’s safety guards and cause it to produce harmful content. In this work, we introduce erase-and-check, the first framework to defend against adversarial prompts with verifiable safety guarantees. We erase tokens individually and inspect the resulting subsequences using a safety filter. Our procedure labels the input prompt as harmful if any subsequences or the input prompt are detected as harmful by the filter. This guarantees that any adversarial modification of a harmful prompt up to a certain size is also labeled harmful. We defend against three attack modes: i) adversarial suffix, which appends an adversarial sequence at the end of the prompt; ii) adversarial insertion, where the adversarial sequence is inserted anywhere in the middle of the prompt; and iii) adversarial infusion, where adversarial tokens are inserted at arbitrary positions in the prompt, not necessarily as a contiguous block. Empirical results demonstrate that our technique obtains strong certified safety guarantees on harmful prompts while maintaining good performance on safe prompts. For example, against adversarial suffixes of length 20, it certifiably detects 93% of the harmful prompts and labels 94% of the safe prompts as safe using the open source language model Llama 2 as the safety filter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google