Knowledge Graph Guided Evaluation of Abstention Techniques

要約

言語モデルを安全にデプロイするには、不適切なリクエストに応答しないようにすることが重要です。
いくつかの先行研究では、悪意のあるリクエストをブロックする有効性に基づいてモデルの安全性が保証されています。
この研究では、モデルを棄権させる根本的なテクニックを評価することに焦点を当てています。
私たちは、ナレッジ グラフからの一連の無害な概念 (例: 「川」) から派生したベンチマークである SELECT を作成します。
SELECT の性質により、棄権テクニックの影響を他の安全トレーニング手順から分離し、その一般化と特異性を評価することができます。
SELECT を使用して、6 つのオープンウェイトおよびクローズドソース モデルにわたるさまざまな棄権手法のベンチマークを行います。
調査した手法により、実際にモデルが $80\%$ を超える棄権率で棄権することがわかりました。
ただし、これらの手法はターゲット概念の子孫にはそれほど効果的ではなく、拒否率は $19\%$ 低下します。
また、さまざまな手法の一般化と特異性のトレードオフも特徴付けます。
全体として、常に他のテクニックよりも優れているテクニックはありません。
私たちの調査結果は、棄権のさまざまな側面を注意深く評価することを求めており、関係するさまざまなトレードオフについて実務家に知らせることを期待しています。

要約(オリジナル)

To deploy language models safely, it is crucial that they abstain from responding to inappropriate requests. Several prior studies test the safety promises of models based on their effectiveness in blocking malicious requests. In this work, we focus on evaluating the underlying techniques that cause models to abstain. We create SELECT, a benchmark derived from a set of benign concepts (e.g., ‘rivers’) from a knowledge graph. The nature of SELECT enables us to isolate the effects of abstention techniques from other safety training procedures, as well as evaluate their generalization and specificity. Using SELECT, we benchmark different abstention techniques over six open-weight and closed-source models. We find that the examined techniques indeed cause models to abstain with over $80\%$ abstention rates. However, these techniques are not as effective for descendants of the target concepts, with refusal rates declining by $19\%$. We also characterize the generalization-vs-specificity trade-offs for different techniques. Overall, no single technique is invariably better than the others. Our findings call for a careful evaluation of different aspects of abstention, and hopefully inform practitioners of various trade-offs involved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google