Enhancing Chat Language Models by Scaling High-quality Instructional Conversations

要約

命令データの微調整は、ChatGPT のようなチャット言語モデルを実装するための効果的な方法として広く検証されています。
このようなデータの多様性と品質を拡張することは、簡単ではありますが、パフォーマンスの向上につながる可能性が非常に高くなります。
このペーパーは、オープンソース モデルの上限をさらに改善することを目的としています。
まず、体系的に設計された、多様で有益な大規模な教育用会話データセットである UltraChat を提供します。これには人間のクエリは含まれません。
私たちの目的は、人間が AI アシスタントと行う可能性のある幅広い対話をキャプチャし、包括的なフレームワークを採用してマルチターンの会話を繰り返し生成することです。
UltraChat には 150 万の高品質なマルチターン ダイアログが含まれており、幅広いトピックや指示をカバーしています。
UltraChat の統計分析では、規模、平均長、多様性、一貫性などを含むさまざまな主要な指標における UltraChat の優位性が明らかになり、主要なオープンソース データセットとしての地位を確固たるものとしています。
UltraChat を基盤として、LLaMA モデルを微調整して、強力な会話モデル UltraLLaMA を作成します。
私たちの評価では、UltraLLaMA が、これまでに知られていた最先端のオープンソース モデルである Vicuna を含む他のオープンソース モデルよりも常に優れていることが示されています。
データセットとモデルは一般公開されます\footnote{\url{https://github.com/thunlp/UltraChat}}。

要約(オリジナル)

Fine-tuning on instruction data has been widely validated as an effective practice for implementing chat language models like ChatGPT. Scaling the diversity and quality of such data, although straightforward, stands a great chance of leading to improved performance. This paper aims to improve the upper bound of open-source models further. We first provide a systematically designed, diverse, informative, large-scale dataset of instructional conversations, UltraChat, which does not involve human queries. Our objective is to capture the breadth of interactions that a human might have with an AI assistant and employs a comprehensive framework to generate multi-turn conversation iteratively. UltraChat contains 1.5 million high-quality multi-turn dialogues and covers a wide range of topics and instructions. Our statistical analysis of UltraChat reveals its superiority in various key metrics, including scale, average length, diversity, coherence, etc., solidifying its position as a leading open-source dataset. Building upon UltraChat, we fine-tune a LLaMA model to create a powerful conversational model, UltraLLaMA. Our evaluations indicate that UltraLLaMA consistently outperforms other open-source models, including Vicuna, the previously recognized state-of-the-art open-source model. The dataset and the model will be publicly released\footnote{\url{https://github.com/thunlp/UltraChat}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google