Parrot: Enhancing Multi-Turn Chat Models by Learning to Ask Questions

要約

最近、大規模言語モデル (LLM) に基づくチャット モデルで目覚ましい進歩が見られました。
ただし、オープンソースのチャット モデル (Alpaca や Vicuna など) と主要なチャット モデル (ChatGPT や GPT-4 など) との間のマルチターン会話には顕著な遅れがあります。
一連の分析を通じて、遅延の原因は、十分な高品質のマルチターン命令チューニング データの不足であると考えられます。
コミュニティで利用可能な指示調整データは、人間らしくない指示、詳細度の低い応答、まれな話題の変更など、特定の問題を伴うシングル ターン会話またはマルチターン会話のいずれかです。
このペーパーでは、高品質の命令チューニング データを自動的に生成するように設計された拡張性の高いソリューションである Parrot を紹介することで、これらの課題に対処します。このデータは、マルチターン会話におけるチャット モデルの有効性を高めるために使用されます。
具体的には、指示を生成する際に実際のユーザーをエミュレートするように設計された Parrot-Ask モデルをトレーニングすることから始めます。
次に、Parrot-Ask を利用して、さまざまなトピックにわたって ChatGPT とマルチターン会話を行い、その結果、40K の高品質のマルチターン対話のコレクション (Parrot-40K) が生成されます。
これらのデータは、その後、Parrot-Chat と名付けたチャット モデルをトレーニングするために使用されます。
私たちは、Parrot-Ask から収集された対話が、トピックの多様性、ターン数、人間の会話との類似性などの重要な指標において、既存のマルチターン命令追跡データセットよりも著しく優れていることを実証します。
Parrot-Chat は、わずか 40,000 のトレーニング サンプルで、さまざまな命令追従ベンチマークにわたって他の 13B オープンソース モデルに対して優れたパフォーマンスを達成し、特にマルチターン機能の評価で優れています。
すべてのコード、データセット、および LLaMA2-13B および KuaiYii-13B に基づく 2 つのバージョンの Parrot-Ask モデルを https://github.com/kwai/KwaiYii/Parrot で入手できるようにしています。

要約(オリジナル)

Impressive progress has been made on chat models based on Large Language Models (LLMs) recently; however, there is a noticeable lag in multi-turn conversations between open-source chat models (e.g., Alpaca and Vicuna) and the leading chat models (e.g., ChatGPT and GPT-4). Through a series of analyses, we attribute the lag to the lack of enough high-quality multi-turn instruction-tuning data. The available instruction-tuning data for the community are either single-turn conversations or multi-turn ones with certain issues, such as non-human-like instructions, less detailed responses, or rare topic shifts. In this paper, we address these challenges by introducing Parrot, a highly scalable solution designed to automatically generate high-quality instruction-tuning data, which are then used to enhance the effectiveness of chat models in multi-turn conversations. Specifically, we start by training the Parrot-Ask model, which is designed to emulate real users in generating instructions. We then utilize Parrot-Ask to engage in multi-turn conversations with ChatGPT across a diverse range of topics, resulting in a collection of 40K high-quality multi-turn dialogues (Parrot-40K). These data are subsequently employed to train a chat model that we have named Parrot-Chat. We demonstrate that the dialogues gathered from Parrot-Ask markedly outperform existing multi-turn instruction-following datasets in critical metrics, including topic diversity, number of turns, and resemblance to human conversation. With only 40K training examples, Parrot-Chat achieves strong performance against other 13B open-source models across a range of instruction-following benchmarks, and particularly excels in evaluations of multi-turn capabilities. We make all codes, datasets, and two versions of the Parrot-Ask model based on LLaMA2-13B and KuaiYii-13B available at https://github.com/kwai/KwaiYii/Parrot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google