Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data

要約

【タイトル】Baize：自己チャットデータでパラメータの効率的な調整が可能なオープンソースのチャットモデル

【要約】
– 既存のチャットモデルChatGPTは、多数の領域で印象的な能力を示し、急速に採用されています。
– しかし、これらのモデルは制限されたAPIを通じてのみアクセス可能であり、新しい研究や進歩に向けた障壁となっている。
– 我々は、ChatGPTを利用して自ら会話をすることで質の高いマルチターンチャットコーパスを自動生成するパイプラインを提案しています。
– その後、パラメータ効率のチューニングを使用して、オープンソースの大規模言語モデルLLaMAを強化します。
– その結果、Baizeと呼ばれるモデルは、潜在的なリスクを最小限に抑えるガードレールのあるマルチターンの対話において良好な性能を発揮します。
– Baizeのモデルとデータは、https://github.com/project-baize/baizeで研究目的でのみ公開されています。オンラインデモもhttps://huggingface.co/spaces/project-baize/baize-lora-7Bで利用可能です。

要約(オリジナル)

Chat models, such as ChatGPT, have shown impressive capabilities and have been rapidly adopted across numerous domains. However, these models are only accessible through a restricted API, creating barriers for new research and progress in the field. We propose a pipeline that can automatically generate a high-quality multi-turn chat corpus by leveraging ChatGPT to engage in a conversation with itself. Subsequently, we employ parameter-efficient tuning to enhance LLaMA, an open-source large language model. The resulting model, named Baize, demonstrates good performance in multi-turn dialogues with guardrails that minimize potential risks. The Baize models and data are released for research purposes only at https://github.com/project-baize/baize. An online demo is also available at https://huggingface.co/spaces/project-baize/baize-lora-7B.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI