SysBench: Can Large Language Models Follow System Messages?

要約

大規模言語モデル (LLM) はさまざまなアプリケーションで役立つようになり、特定のシナリオに合わせてこれらのモデルをカスタマイズすることがますます重要になっています。
LLM の基本コンポーネントであるシステム メッセージは、意図した目標を達成するようにモデルの動作をガイドする慎重に作成された命令で構成されています。
AI 主導のソリューションを最適化するシステム メッセージの可能性が認識されているにもかかわらず、さまざまな LLM がこれらのシステム メッセージにどの程度従っているかを評価するための包括的なベンチマークが著しく欠如しています。
このギャップを埋めるために、制約の複雑さ、命令のミスアラインメント、マルチターンの安定性という 3 つの困難な側面に関してシステム メッセージ追従能力を系統的に分析するベンチマークである SysBench を紹介します。
効果的な評価を可能にするために、SysBench は、現実世界のシナリオにおけるシステム メッセージからの 6 つの一般的なタイプの制約に基づいて、さまざまな対話関係をカバーするマルチターン ユーザー会話を構築します。
私たちのデータセットには、さまざまなドメインからの 500 のシステム メッセージが含まれており、それぞれが 5 ターンのユーザー会話とペアになっており、高品質を保証するために手動で作成およびチェックされています。
SysBench は、さまざまな LLM にわたる広範な評価を提供し、システム メッセージで与えられた指定された制約に従う能力を測定します。
この結果は、既存のモデルの長所と短所の両方を浮き彫りにし、今後の研究に向けた重要な洞察と方向性を提供します。
オープンソース ライブラリ SysBench は、https://github.com/PKU-Baichuan-MLSystemLab/SysBench で入手できます。

要約(オリジナル)

Large Language Models (LLMs) have become instrumental across various applications, with the customization of these models to specific scenarios becoming increasingly critical. System message, a fundamental component of LLMs, is consist of carefully crafted instructions that guide the behavior of model to meet intended goals. Despite the recognized potential of system messages to optimize AI-driven solutions, there is a notable absence of a comprehensive benchmark for evaluating how well different LLMs follow these system messages. To fill this gap, we introduce SysBench, a benchmark that systematically analyzes system message following ability in terms of three challenging aspects: constraint complexity, instruction misalignment and multi-turn stability. In order to enable effective evaluation, SysBench constructs multi-turn user conversations covering various interaction relationships, based on six common types of constraints from system messages in real-world scenarios. Our dataset contains 500 system messages from various domains, each paired with 5 turns of user conversations, which have been manually formulated and checked to guarantee high quality. SysBench provides extensive evaluation across various LLMs, measuring their ability to follow specified constraints given in system messages. The results highlight both the strengths and weaknesses of existing models, offering key insights and directions for future research. The open source library SysBench is available at https://github.com/PKU-Baichuan-MLSystemLab/SysBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google