LMSYS-Chat-1M: A Large-Scale Real-World LLM Conversation Dataset

要約

現実世界のシナリオで人々が大規模言語モデル (LLM) とどのように対話するかを研究することは、LLM がさまざまなアプリケーションで広く使用されているため、ますます重要になっています。
この論文では、25 の最先端の LLM との 100 万件の実世界の会話を含む大規模なデータセットである LMSYS-Chat-1M を紹介します。
このデータセットは、Vicuna デモおよび Chatbot Arena Web サイト上に存在する 210,000 個の一意の IP アドレスから収集されています。
データセットのキュレーション プロセス、基本統計、トピック分布などのコンテンツの概要を提供し、その多様性、独自性、規模を強調します。
GPT-4 と同様に機能するコンテンツ モデレーション モデルの開発、安全性ベンチマークの構築、Vicuna と同様に機能する指示従うモデルのトレーニング、および難しいベンチマーク質問の作成という 4 つのユース ケースを通じて、その多用途性を実証します。
私たちは、このデータセットが LLM 機能を理解して発展させるための貴重なリソースとして役立つと信じています。
データセットは https://huggingface.co/datasets/lmsys/lmsys-chat-1m で公開されています。

要約(オリジナル)

Studying how people interact with large language models (LLMs) in real-world scenarios is increasingly important due to their widespread use in various applications. In this paper, we introduce LMSYS-Chat-1M, a large-scale dataset containing one million real-world conversations with 25 state-of-the-art LLMs. This dataset is collected from 210K unique IP addresses in the wild on our Vicuna demo and Chatbot Arena website. We offer an overview of the dataset’s content, including its curation process, basic statistics, and topic distribution, highlighting its diversity, originality, and scale. We demonstrate its versatility through four use cases: developing content moderation models that perform similarly to GPT-4, building a safety benchmark, training instruction-following models that perform similarly to Vicuna, and creating challenging benchmark questions. We believe that this dataset will serve as a valuable resource for understanding and advancing LLM capabilities. The dataset is publicly available at https://huggingface.co/datasets/lmsys/lmsys-chat-1m.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google