Towards Safer Chatbots: A Framework for Policy Compliance Evaluation of Custom GPTs

要約

大規模な言語モデル（LLM）は、前例のない卓越性を獲得し、多様なドメイン全体で広範な採用を達成し、社会に深く統合しています。
特定のタスク用の生成事前訓練トランス（GPT）などの汎用LLMを微調整する機能により、多数のカスタムGPTの出現が促進されました。
これらのテーラードモデルは、OpenaiのGPTストアなど、専用のマーケットプレイスを通じてますます利用できるようになりました。
ただし、それらのブラックボックスの性質は、重大な安全性とコンプライアンスリスクをもたらします。
この作業では、これらのシステムの許容される動作を定義するOpenAIの使用ポリシーに対するカスタムGPTの自動評価のためのスケーラブルなフレームワークを提示します。
当社のフレームワークには、3つのコアコンポーネントが統合されています。（1）GPTストアのモデルの自動発見とデータ収集、（2）特定のポリシーカテゴリに合わせたレッドチームのプロンプトジェネレーター、および各ターゲットGPTの特性、および（3）潜在的なポリシー違反のために各プロンプト応答ペアを分析するLLM-A-A-Judge手法。
手動で注釈されたグラウンドトゥルースでフレームワークを検証し、ロマンチック、サイバーセキュリティ、アカデミックGPTの3つのカテゴリにわたって782のカスタムGPTを使用した大規模な研究を通じて評価します。
当社の手動注釈プロセスは、政策違反の特定で0.975のF1スコアを達成し、フレームワークの評価の信頼性を確認しました。
結果は、分析されたモデルの58.7％が非コンプライアンスの兆候を示し、GPTストアのレビューと承認プロセスの弱点を暴露することを明らかにしています。
さらに、我々の調査結果は、モデルの人気がコンプライアンスと相関していないことを示しており、非コンプライアンスの問題は、ユーザー駆動型のカスタマイズではなく、ベースモデルから継承された行動に大きく起因することを示しています。
このアプローチは、他のチャットボットプラットフォームやポリシードメインに拡張可能であり、LLMベースのシステムの安全性を向上させると考えています。

要約(オリジナル)

Large Language Models (LLMs) have gained unprecedented prominence, achieving widespread adoption across diverse domains and integrating deeply into society. The capability to fine-tune general-purpose LLMs, such as Generative Pre-trained Transformers (GPT), for specific tasks has facilitated the emergence of numerous Custom GPTs. These tailored models are increasingly made available through dedicated marketplaces, such as OpenAI’s GPT Store. However, their black-box nature introduces significant safety and compliance risks. In this work, we present a scalable framework for the automated evaluation of Custom GPTs against OpenAI’s usage policies, which define the permissible behaviors of these systems. Our framework integrates three core components: (1) automated discovery and data collection of models from the GPT store, (2) a red-teaming prompt generator tailored to specific policy categories and the characteristics of each target GPT, and (3) an LLM-as-a-judge technique to analyze each prompt-response pair for potential policy violations. We validate our framework with a manually annotated ground truth, and evaluate it through a large-scale study with 782 Custom GPTs across three categories: Romantic, Cybersecurity, and Academic GPTs. Our manual annotation process achieved an F1 score of 0.975 in identifying policy violations, confirming the reliability of the framework’s assessments. The results reveal that 58.7% of the analyzed models exhibit indications of non-compliance, exposing weaknesses in the GPT store’s review and approval processes. Furthermore, our findings indicate that a model’s popularity does not correlate with compliance, and non-compliance issues largely stem from behaviors inherited from base models rather than user-driven customizations. We believe this approach is extendable to other chatbot platforms and policy domains, improving LLM-based systems safety.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google