Shepherd: A Critic for Language Model Generation

要約

大規模な言語モデルが向上するにつれて、これらのモデルの機能を活用して独自の出力を改良する手法への関心が高まっています。
この研究では、応答を批判し、改善を提案するために特別に調整された言語モデルである Shepherd を紹介します。これは、さまざまなエラーを特定し、それらを修正するための提案を提供する未調整モデルの機能を超えています。
私たちのアプローチの中核となるのは、コミュニティのフィードバックと人間による注釈から厳選した高品質のフィードバック データセットです。
Shepherd は小規模 (パラメータ 7B) ですが、その批評は ChatGPT を含む確立されたモデルの批評と同等か、それより優先されます。
GPT-4 を評価に使用すると、Shepherd は競合他社と比較して平均勝率 53 ～ 87% に達します。
人間による評価では、Shepherd は他のモデルよりも厳密に優れており、平均して ChatGPT と密接に関係しています。

要約(オリジナル)

As large language models improve, there is increasing interest in techniques that leverage these models’ capabilities to refine their own outputs. In this work, we introduce Shepherd, a language model specifically tuned to critique responses and suggest refinements, extending beyond the capabilities of an untuned model to identify diverse errors and provide suggestions to remedy them. At the core of our approach is a high quality feedback dataset, which we curate from community feedback and human annotations. Even though Shepherd is small (7B parameters), its critiques are either equivalent or preferred to those from established models including ChatGPT. Using GPT-4 for evaluation, Shepherd reaches an average win-rate of 53-87% compared to competitive alternatives. In human evaluation, Shepherd strictly outperforms other models and on average closely ties with ChatGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google