Chinese SafetyQA: A Safety Short-form Factuality Benchmark for Large Language Models

要約

大規模言語モデル (LLM) の急速な進歩に伴い、安全性に関する重大な懸念が浮上しています。
基本的に、大規模な言語モデルの安全性は、特に法律、政策、倫理などの分野における安全性に関する知識の正確性、包括性、および明瞭さに密接に関連しています。
この事実に基づく能力は、これらのモデルを特定の地域内で安全かつコンプライアンスに準拠して展開および適用できるかどうかを判断する上で非常に重要です。
これらの課題に対処し、短い質問に答えるための LLM の事実能力をより適切に評価するために、中国の SafetyQA ベンチマークを導入します。
中国の SafetyQA には、いくつかの特性 (つまり、中国語、多様、高品質、静的、評価しやすい、安全関連、無害) があります。
中国の SafetyQA に基づいて、既存の LLM の事実能力を包括的に評価し、これらの能力が LLM の能力 (RAG 能力や攻撃に対する堅牢性など) にどのように関連しているかを分析します。

要約(オリジナル)

With the rapid advancement of Large Language Models (LLMs), significant safety concerns have emerged. Fundamentally, the safety of large language models is closely linked to the accuracy, comprehensiveness, and clarity of their understanding of safety knowledge, particularly in domains such as law, policy and ethics. This factuality ability is crucial in determining whether these models can be deployed and applied safely and compliantly within specific regions. To address these challenges and better evaluate the factuality ability of LLMs to answer short questions, we introduce the Chinese SafetyQA benchmark. Chinese SafetyQA has several properties (i.e., Chinese, Diverse, High-quality, Static, Easy-to-evaluate, Safety-related, Harmless). Based on Chinese SafetyQA, we perform a comprehensive evaluation on the factuality abilities of existing LLMs and analyze how these capabilities relate to LLM abilities, e.g., RAG ability and robustness against attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google