Safe-Embed: Unveiling the Safety-Critical Knowledge of Sentence Encoders

要約

さまざまなタスクにおける大規模言語モデル (LLM) の優れた機能にもかかわらず、安全でないプロンプトに対する脆弱性は依然として重大な問題です。
これらのプロンプトにより、LLM は違法または機密性の高いトピックに関する応答を生成する可能性があり、LLM の安全かつ倫理的な使用に重大な脅威をもたらす可能性があります。
既存のアプローチでは、分類モデルを使用してこの問題に対処しようとしていますが、いくつかの欠点があります。
安全でないプロンプトの複雑さが増すにつれ、安全でないプロンプトの特定の特徴を識別する類似性検索ベースの技術は、この進化する問題に対するより堅牢で効果的なソリューションを提供します。
この論文では、文エンコーダが安全なプロンプトと安全でないプロンプトを区別できる可能性と、安全分類に従ってさまざまな安全でないプロンプトを分類する機能を調査します。
この能力を測定するために、新しいペアごとのデータセットとカテゴリ純度 (CP) メトリクスを導入します。
私たちの調査結果は、既存の文エンコーダの有効性と限界の両方を明らかにし、より堅牢な安全検出器として動作するように文エンコーダを改善する方向性を提案しています。
私たちのコードは https://github.com/JwdanielJung/Safe-Embed で入手できます。

要約(オリジナル)

Despite the impressive capabilities of Large Language Models (LLMs) in various tasks, their vulnerability to unsafe prompts remains a critical issue. These prompts can lead LLMs to generate responses on illegal or sensitive topics, posing a significant threat to their safe and ethical use. Existing approaches attempt to address this issue using classification models, but they have several drawbacks. With the increasing complexity of unsafe prompts, similarity search-based techniques that identify specific features of unsafe prompts provide a more robust and effective solution to this evolving problem. This paper investigates the potential of sentence encoders to distinguish safe from unsafe prompts, and the ability to classify various unsafe prompts according to a safety taxonomy. We introduce new pairwise datasets and the Categorical Purity (CP) metric to measure this capability. Our findings reveal both the effectiveness and limitations of existing sentence encoders, proposing directions to improve sentence encoders to operate as more robust safety detectors. Our code is available at https://github.com/JwdanielJung/Safe-Embed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google