Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs

要約

大規模言語モデル (LLM) の急速な進化に伴い、予測困難な有害な機能が新たに出現しています。
このため、開発者は責任を持って LLM を導入するために、「危険な機能」の評価を通じてリスクを特定できる必要があります。
この作業では、LLM のセーフガードを評価するための最初のオープンソース データセットを収集し、より安全なオープンソース LLM を低コストで展開します。
私たちのデータセットは、責任ある言語モデルが従うべきではない命令のみで構成されるように厳選およびフィルタリングされています。
これらの指示に対する 6 つの人気のある LLM の反応に注釈を付けて評価します。
アノテーションに基づいて、いくつかの BERT に似た分類器のトレーニングを進め、これらの小さな分類器が自動安全性評価において GPT-4 に匹敵する結果を達成できることがわかりました。
警告: この文書には、攻撃的、有害、または偏った可能性のあるデータ例が含まれています。

要約(オリジナル)

With the rapid evolution of large language models (LLMs), new and hard-to-predict harmful capabilities are emerging. This requires developers to be able to identify risks through the evaluation of ‘dangerous capabilities’ in order to responsibly deploy LLMs. In this work, we collect the first open-source dataset to evaluate safeguards in LLMs, and deploy safer open-source LLMs at a low cost. Our dataset is curated and filtered to consist only of instructions that responsible language models should not follow. We annotate and assess the responses of six popular LLMs to these instructions. Based on our annotation, we proceed to train several BERT-like classifiers, and find that these small classifiers can achieve results that are comparable with GPT-4 on automatic safety evaluation. Warning: this paper contains example data that may be offensive, harmful, or biased.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google