Generative Judge for Evaluating Alignment

要約

大規模言語モデル (LLM) の急速な開発により、LLM が対処できるタスクの範囲が大幅に拡大しました。
自然言語処理 (NLP) の分野では、研究者は従来の NLP タスク (シーケンスのタグ付けや解析など) から、人間のニーズに合わせることを中心としたタスク (ブレインストーミングや電子メールの作成など) に焦点を移しています。
このタスク分散の変化により、これらの調整されたモデルの評価には、一般性 (つまり、さまざまなシナリオにわたるパフォーマンスの評価)、柔軟性 (つまり、さまざまなプロトコルの下での検査)、および解釈可能性 (つまり、説明付きのモデルの精査) に関する新しい要件が課されます。
この論文では、これらの課題に対処するために設計された 13B パラメータを備えた生成的判断ツール Auto-J を提案します。
私たちのモデルは、大規模な現実世界のシナリオの下でユーザーのクエリと LLM が生成した応答でトレーニングされており、適切に構造化された自然言語の批評を備えた多様な評価プロトコル (ペアごとの応答の比較や単一応答の評価など) に対応しています。
私たちのアプローチの有効性を実証するために、58 の異なるシナリオをカバーする新しいテストベッドを構築しました。
実験的には、Auto-J は、オープンソース モデルとクローズドソース モデルの両方を含む一連の強力な競合他社を大幅に上回っています。
また、私たちの手法の可能性をさらに明らかにするために、詳細な分析とケーススタディも提供し、さまざまなリソースを https://github.com/GAIR-NLP/auto-j で公開します。

要約(オリジナル)

The rapid development of Large Language Models (LLMs) has substantially expanded the range of tasks they can address. In the field of Natural Language Processing (NLP), researchers have shifted their focus from conventional NLP tasks (e.g., sequence tagging and parsing) towards tasks that revolve around aligning with human needs (e.g., brainstorming and email writing). This shift in task distribution imposes new requirements on evaluating these aligned models regarding generality (i.e., assessing performance across diverse scenarios), flexibility (i.e., examining under different protocols), and interpretability (i.e., scrutinizing models with explanations). In this paper, we propose a generative judge with 13B parameters, Auto-J, designed to address these challenges. Our model is trained on user queries and LLM-generated responses under massive real-world scenarios and accommodates diverse evaluation protocols (e.g., pairwise response comparison and single-response evaluation) with well-structured natural language critiques. To demonstrate the efficacy of our approach, we construct a new testbed covering 58 different scenarios. Experimentally, Auto-J outperforms a series of strong competitors, including both open-source and closed-source models, by a large margin. We also provide detailed analysis and case studies to further reveal the potential of our method and make a variety of resources public at https://github.com/GAIR-NLP/auto-j.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google