A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models

要約

次の命令は、ユーザー定義の制約に準拠する出力を生成する能力について、大規模な言語モデル（LLMS）を評価します。
ただし、既存のベンチマークは、多くの場合、テンプレートされた制約プロンプトに依存しています。これは、実際の使用量の多様性を欠いており、微調整されたパフォーマンス評価を制限しています。
このギャップを埋めるために、3つの制約パターン、4つの制約カテゴリ、および4つの難易度レベルを含む多次元制約フレームフレームワークを提案します。
このフレームワークに基づいて、制約の拡大、競合検出、および命令書き換えを実行する自動命令生成パイプラインを開発し、1,200のコード検証可能な命令に従うテストサンプルを生成します。
7つのモデルファミリで19のLLMを評価し、制約形式全体でパフォーマンスの大幅な変動を明らかにします。
たとえば、平均パフォーマンスは、レベルIの77.67％からレベルIVで32.96％に低下します。
さらに、それを使用して補強学習のためのデータを生成し、一般的なパフォーマンスを低下させることなく指導の大幅な利益を達成することにより、アプローチの有用性を実証します。
詳細な分析は、これらの利益が主にモデルの注意モジュールパラメーターの変更に起因することを示しており、制約認識と順守を強化します。
コードとデータはhttps://github.com/junjie-ye/muldimifで入手できます。

要約(オリジナル)

Instruction following evaluates large language models (LLMs) on their ability to generate outputs that adhere to user-defined constraints. However, existing benchmarks often rely on templated constraint prompts, which lack the diversity of real-world usage and limit fine-grained performance assessment. To fill this gap, we propose a multi-dimensional constraint framework encompassing three constraint patterns, four constraint categories, and four difficulty levels. Building on this framework, we develop an automated instruction generation pipeline that performs constraint expansion, conflict detection, and instruction rewriting, yielding 1,200 code-verifiable instruction-following test samples. We evaluate 19 LLMs across seven model families and uncover substantial variation in performance across constraint forms. For instance, average performance drops from 77.67% at Level I to 32.96% at Level IV. Furthermore, we demonstrate the utility of our approach by using it to generate data for reinforcement learning, achieving substantial gains in instruction following without degrading general performance. In-depth analysis indicates that these gains stem primarily from modifications in the model’s attention modules parameters, which enhance constraint recognition and adherence. Code and data are available in https://github.com/Junjie-Ye/MulDimIF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google